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划 展 》 


云 计 算 概念 诞生 至 今 已 发 展 了 约 八 年 的 时 间 。 这 八 年 来 ， 相 比 云 
计算 诞生 初期 ， 云 计算 技术 条 件 、 行 业 和 市 场 环境 均 发 生 了 巨大 变 
化 ， 广 大 读者 对 云 计 算 的 认 知 需求 也 从 当初 的 粗浅 概念 阶段 ， 发 展 到 

望 深度 探索 的 阶段 。 

本 书 以 云 计算 架构 技术 为 核心 ， 从 讨论 云 计 算 发 展 为 起 点 ， 围 绕 
云 计算 架构 涉及 的 核心 技术 与 商业 实践 进行 展开 。 论 及 的 核心 技术 包 
括 计算 、 存 储 、 网 络 、 数 据 、 管 理 、 接 入 、 安 全 等 ， 涵 盖 了 云 计算 的 
最 新 趋势 、 原 理 、 特 性 与 实践 。 

本 书 和 运用 于 企业 IT 部 门 首席 信息 官 、IT 主 管 、IT 技 术 工 程 师 、 技 
术 类 人 员 、IT 技 术 公 司 员工 、 互 联网 公司 员工 、 教 育 机 构 师 生 等 。 


作者 简介 


顾 炯炯 

华为 公司 云 计算 首席 架构 师 ， 主 导 完 成 华为 公司 云 计算 操作 系统 
(FusionCube) 和 融合 基础 设施 (FusionCube) 的 技术 规划 与 架构 设 
计 ， 支 撑 华 为 公司 的 ICT 战 略 转 型 、 云 计算 数据 中 心 及 电信 云 化 解决 
方案 ， 完 成 浙江 移动 、 上 海 联 通 、 上 海 健康 云 、 新 加 坡 StarHub、 华 为 
泉 面 云 及 数据 仓库 等 数 百 个 云 计 算 项 目的 商用 沙 地 。 曾 任 华 为 公司 融 
合 IMS 解 决 方案 首席 架构 师 、 华 为 公司 移动 软 交 换 产 品 首 席 架 构 师 ， 
拥有 已 获 授权 并 发 布 的 个 人 专利 30 多 项 。 
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早 在 三 千 多 年 前 ，《 易 经 》 出 现时 ， 人 类 便 用 朴实 的 哲学 思想 揭 
示 了 一 个 变化 的 世界 。 变 化 无 所 不 在 ， 体 现在 政治 、 经 济 、 社 会 、 科 
学 等 方方面面 。 其 中 科学 技术 的 发 展 变化 ， 是 这 几 个 领域 中 最 能 被 人 
们 感同身受 的 。 在 科学 技术 领域 ，IT 技 术 成 为 科技 发 展 变 化 的 急 先 
锋 。IT 领 域 的 “ 云 计算 ”在 2007 年 还 是 一 个 未 知 的 概念 ， 到 2014 年 “ 云 计 
算 ” 不 仅 家 喻 户 晓 ， 而 且 在 基于 云 计算 的 平台 上 创造 了 一 个 又 一 个 发 展 
速度 的 新 记录 : 一 款 在 云 平台 上 的 游戏 ， 可 以 在 几 个 月 发 展 数 千 万 用 
户 ; 云 平台 支撑 的 电子 商务 ，1 秒 钟 可 以 完成 数 万 笔 交 易 。 目 前 这 种 IT 
云 计 算 领域 的 发 展 变化 模式 不 再 局 限于 令 人 上 目 的 数字 ， 而 开始 向 传 
统 行 业 乃 至 国家 整体 经 济 与 社会 领域 进行 快速 渗透 。 我 们 相信 ， 在 不 
久 的 将 来 ， 全 球 的 经 济 、 社 会 与 科学 的 面貌 在 云 计 算 技术 、 服 务 与 理 
念 的 推动 下 会 焕然 一 新 。 这 就 是 我 们 过 去 十 几 年 常 说 的 “信息 技术 革 
命 *， 在 我 们 眼前 正在 发 生 、 发 展 和 不 断 演 变 着 。 

“ 云 计算 ”这 个 名 词 虽 然 已 经 家 喻 户 晓 ， 而 且 业 内 基本 认可 美国 国 
家 标准 与 技术 研究 院 〈NIST) 对 云 计算 的 概念 定义 ， 但 人 们 对 云 计算 
的 理解 至 今 不 同 。 究 其 根 因 ， 一 方面 是 云 计算 的 技术 、 服 务 模式 和 理 
念 在 不 断 演 进 和 发 展 变化 ; 另 一 方面 ， 云 计算 的 宣传 推广 主体 ， 出 于 
商业 或 理念 的 差异 而 对 云 计算 的 内 涵 进 行 了 不 同方 向 的 强化 和 引申 。 


人 们 对 云 计 算 的 不 同 理解 ， 势 必 引 发 概念 定义 上 的 争议 ， 但 一 个 不 争 
的 共识 是 : 云 计 算 已 经 洛 地 生根 ， 并 快速 地 发 展 壮大 , “ 像 用 电 一 样 使 
用 信息 服务 ”的 云 计算 理想 虽然 还 未 完全 实现 ， 但 距离 这 个 目标 已 经 越 
来 越 近 。 我 们 每 个 人 对 云 计 算 的 发 展 阶段 可 能 有 不 同 的 理解 和 划分 ， 
这 很 正常 也 很 有 和 益 ， 因 为 多 样 化 的 观点 碰撞 是 创新 灵感 的 源泉 。 本 书 
也 将 “ 云 计算 ”的 技术 内 涵 进 行 了 更 大 范围 的 发 展 和 延伸 。 这 让 我 联想 
到 互联 网 行业 正在 发 生 的 变化 ， 早 期 的 互联 网 公司 仅仅 开发 与 其 直接 
相关 的 web 网站， 但 现 如 今 ， 大 型 互联 网 公司 所 做 的 产品 与 业务 早已 
远 远 地 超 出 当初 的 学 畴 ， 不 仅 在 看 似 简 单 的 web 网 站 下 面 搭建 了 一 个 
庞大 的 数据 处 理 与 分 析 平 台 ， 而 且 支 撑 其 网 站 的 服务 器 、 存 储 、 网 络 
乃至 数据 中 心 。 这 些 硬 件 产品 均 由 互联 网 公司 自己 研发 与 设计 ， 领 先 
的 互联 网 公司 做 的 产品 还 远 不 止 这 些 ，Google 推 出 了 手机 操作 系统 、 
眼镜 ， 并 致力 于 开发 、 完 善 无 人 驾驶 汽车 ; 亚马逊 开发 无 人 飞机 用 于 
物流 投递 ; Facebook 在 虚拟 现实 领域 进行 了 高 额 投 入 ; 国内 的 阿里 巴 
巴 、 腾 讯 等 公司 在 开发 各 种 金融 类 创新 产品 。 针 对 这 些 巨大 的 变化 ， 
在 没有 更 好 的 名 称 之 前 ， 我 们 依然 要 称呼 它们 是 互联 网 公司 ， 我 们 只 
能 说 当今 互联 网 的 含义 比 10 年 前 的 互联 网 更 加 宽泛 。“ 云 计算 ”也 是 如 
此 。 在 IT 领域 ， 基 本 上 每 3 一 5 年 便 会 进行 一 次 产品 技术 的 更 新 换代 ， 
云 计 算 经 过 多 年 发 展 ， 无 论 在 技术 深度 还 是 在 技术 广度 上 均 会 有 显著 
延展 。 通 过 阅读 此 书 ， 可 以 明显 感受 到 云 计算 技术 这 些 年 来 的 发 展 和 
进步 ， 以 及 云 计算 技术 在 企业 IT 和 电信 和 网络 重 构 中 的 作用 。 

云 计算 不 仅 对 企业 和 电信 的 发 展 有 重大 的 推动 作用 ， 对 教育 科研 
领域 也 有 深远 的 影响 。“ 云 计算 ”是 由 企业 提出 的 概念 ， 并 一 直 由 企业 
主导 “ 云 计算 ”技术 的 研发 、 推 广 与 应 用 。 云 计算 所 支撑 的 大 数据 概念 
与 技术 的 出 现 ， 企 业主 导 ， 特 别 是 互联 网 企业 主导 技术 发 展 的 趋势 更 


加 明显 。 企 业 之 所 以 能 够 主导 云 计算 与 大 数据 技术 的 发 展 ， 原 因 可 能 
来 自 三 个 方面 : 一 是 企业 拥有 雄厚 的 资金 ; 二 是 云 计 算 技术 与 企业 应 
用 及 市 场 需求 呈现 出 了 紧 耦 合 的 发 展 ; 三 是 企业 (特别 是 互联 网 企 
业 ) 拥有 足 量 的 数据 资产 和 计算 资源 。 企 业主 导 同 时 意味 着 在 云 计 算 
与 大 数据 领域 传统 的 先 有 理论 后 有 应 用 的 模式 基本 不 再 适用 ， 即 大 学 
科研 机 构 负 责 理论 学术) 创新 ， 企 业 负 责 应 用 创新 (工程 实践 ) 的 
分 工 模式 。 大 学 教育 科研 机 构 ， 特 别 是 信息 技术 学 科 ， 需 要 调整 自身 
角色 来 适应 这 一 趋势 的 发 展 。 云 计算 领域 提供 了 非常 丰富 的 开源 环 
境 ， 比 如 OpenStack、Hadoop、Xen、KVM 等 ， 互 联网 同时 提供 了 数 
量 庞大 的 信息 技术 文章 ， 云 计算 厂商 会 提供 免费 或 低 价 的 试用 软件 或 
云 计 算 环 境 ， 再 加 上 不 断 出 版 更 新 的 信息 技术 类 书籍 ， 这 些 资源 构成 
了 一 个 开放 且 实 时 更 新 的 教学 乃至 实验 环境 ， 可 以 供 广 大 学 生 学 习 和 
实践 使 用 。 未 来 大 学 对 学 生 的 培养 工作 可 能 集中 在 4 个 方面 : 方向 性 的 
引导 ， 综 合 近 能 的 认证 ， 给 学 生 提 供 专 心 学 习 交 流 的 环境 ， 为 学 生 措 
建 创新 的 平台 。 大 学 的 信息 技术 类 学 科 的 科研 机 构 ， 需 要 与 企业 和 市 
场 更 加 紧密 地 结合 ， 双 方 共享 数据 ， 共 享 研 发 测试 环境 ， 专 利 交 叉 共 
享 ， 项 目 收益 共享 。 大 学 科研 机 构 可 侧重 承担 企业 偏远 期 的 云 计 算 与 
大 数据 技术 的 开发 ， 企 业 侧 重 承 担 近 期 应 用 技术 的 开发 ， 双 方 的 界限 
会 很 模糊 。 在 云 计 算 时 代 ， 年 岭 、 资 历 和 职称 都 不 再 是 科研 创新 的 门 
监 ， 大 学 生 可 以 广泛 参与 和 承担 云 平台 类 产品 应 用 开发 ， 学 生 的 自主 
创新 成 果 〈 同 时 参照 产品 受 市 场 欢迎 的 程度 ) 将 是 个 人 能 力 认 证 的 一 
个 重要 依据 。 

希望 本 书 的 所 有 读者 ， 在 了 解 云 计算 技术 的 同时 ， 都 能 够 积极 地 
投身 到 云 计 算 产 业 实 践 中 来 。 只 有 更 多 的 人 认识 到 云 计算 的 价值 ， 才 


能 挖掘 出 更 多 云 计算 的 价值 ， 云 计算 产业 才 会 有 源源 不 断 的 动力 来 鞍 
勃发 展 。 相 信 各 位 读者 中 的 很 多 人 都 将 成 为 云 计算 产业 的 中 坚 力量 。 
李 德 裔 


中 国 工程 院 院 士 ， 国 际 欧 亚 科学 院 院士 


合作 创新 ， 云 以 致 用 


云 计算 从 概念 到 大 规模 实践 ， 短 短 数 年 间 迅 猛 发 展 。 它 与 诸多 行 

业 深 度 融 合 ， 带 来 了 颠覆 性 的 创新 ， 凸 显 出 巨大 的 应 用 价值 和 发 展 前 

景 。 读 到 华为 公司 云 计 算 首 席 架 构 师 顾 炯炯 新 著 《 云 计算 架构 技术 与 

实践 》， 我 倍 感 兴奋 。 著 作 概 括 了 华为 的 云 计算 构想 ， 表 明 华 为 云 计 

算 布 局 已 走 在 行业 的 前 列 ， 也 预示 着 英特尔 和 华为 在 云 计 算 方面 的 合 
作 将 更 加 密切 。 

随 着 计算 的 延伸 与 扩展 、 移 动 互 联网 的 发 展 ， 中 国 消 费 者 拥有 了 
越 来 越 多 的 智能 设备 。 为 了 让 消费 者 在 不 同时 间 、 不 同 场合 获得 实时 
言 息 服务 ， 需 要 将 各 种 内 容 和 应 用 通过 云端 进行 整合 、 匹 配 ， 推 向 不 
同 的 终端 用 户 ， 实 现 从 云 到 端 高 效 顺畅 的 体验 。 从 电信 和 运营 商 到 服务 
提供 商 ， 通 过 云 架构 部 署 各 种 移动 设备 和 个 性 化 服务 ， 无 疑 是 非常 经 
济 、 便 捷 的 途径 。 

同时 ， 在 经 济 发 展 和 行业 变革 中 ， 人 们 所 遇 到 的 挑战 也 日 益 复 
杂 ， 需 要 综合 的 解决 方案 来 应 对 。 比 如 ， 在 城镇 化 进程 中 ， 利 用 云 计 
算 结合 物 联 网 与 大 数据 解决 方案 ， 可 推动 智能 交通 、 平 安 城 市 、 智 慧 
医疗 、 环 境 监 控 等 项 目的 建设 ， 带 来 更 好 的 城市 运营 管理 和 公共 服 
务 。 将 云 计算 与 传统 行业 融合 ， 将 审 来 路 界 创新 ， 催 生前 所 未 有 的 商 


业 模式 、 产 业 生 态 。 云 计算 越 来 越 从 一 种 降低 成 本 与 提高 效率 的 方 
式 ， 演 变 成 为 向 企业 和 消费 者 提供 新 服务 的 途径 。 

面 对 在 线 应 用 、 服 务 和 数据 的 高 速 增长 ， 数 据 中 心 规模 急剧 脱 
胀 ， 需 要 对 数据 中 心 IT 基础 设施 的 主要 组 成 部 分 一 一 服务 器 、 存 储 和 
网 络 设备 进行 以 软件 定义 为 导向 的 创新 ， 实 现 自动 供给 的 IT 资源 池 。 
英特尔 于 2013 年 开始 践 行 “ 软 件 定义 基础 设施 ?战略 ， 在 开放 平台 上 由 
用 户 自行 定义 他 们 的 基础 设施 ， 这 将 使 用 户 在 云 资源 池内 “ 调 兵 遗 将 * 
时 更 加 轻松 ， 进 而 也 让 他 们 的 新 应 用 和 新 服务 更 快 地 得 到 底层 支持 ， 
实现 迅速 交付 。 

英特尔 长 期 专注 于 计算 的 创新 ， 提 供 从 服务 器 到 存储 、 网 络 全 面 
的 计算 能 力 及 软件 优 化 支持 ， 与 产业 伙伴 共同 应 对 各 种 云 计 算 的 发 展 
难题 ， 真 正 实现 “ 云 以 致 用 ”。 为 此 ， 英 特 尔 与 产业 界 协同 合作 ， 基 于 
开放 架构 推出 了 英特尔 云 构建 计划 ， 帮 助 开 放 数 据 中 心 联盟 发 据 和 定 
义 企业 用 户 的 云 计 算 需 求 ， 并 提供 丰富 的 云 计算 解决 方案 。 

携手 推动 云 计算 创新 ， 英 特 尔 与 华为 的 合作 是 一 个 很 好 的 例证 。 
华为 不 仅 在 通信 行业 处 于 领先 地 位 ， 过 去 几 年 间 其 云 计 算 业 务 也 成 倍 
增长 。 英 特 尔 与 华为 的 合作 由 来 已 入， 双方 都 较 早 受 到 信息 通信 产业 
中 最 大 的 潮流 一 一 信息 技术 和 通信 技术 融合 的 影响 ， 合 作 领 域 不 断 拓 
展 ， 从 最 初 在 通信 和 领域， 扩展 到 服务 器 、 存 储 、 网 络 领 域 ， 现 在 又 把 
共同 的 目标 放 在 了 云 计算 和 大 数据 的 创新 机 会 上 。 我 们 对 双方 的 合作 
前 景 充满 信心 。 

中 国 互 联网 用 户 众多 ， 信 息 终 端 普及 率 很 高 ， 企 业 及 消费 者 对 于 
IT 技术 的 了 解 和 接受 速度 也 非常 快 ， 再 加 上 政府 大 力 支持 云 计 算 产 
业 ， 并 实施 宽带 中 国 战略 ， 这 就 使 得 中 国 在 云 计算 部 署 规模 、 技 术 以 
及 商业 模式 创新 方面 迅猛 发 展 。 我 们 期 待 着 与 国内 合作 伙伴 深化 和 扩 


展 合 作 领 域 ， 让 更 多 源 自 中 国 的 云 计 算 创 新 成 果 去 影响 并 推动 全 球 信 
息 技 术 和 通信 产业 的 发 展 进程 ! 

杨 叙 

英特尔 公司 全 球 副 总 裁 兼 中 国 区 总 裁 


于 
nl 


什么 是 云 计算 ? 美国 国家 标准 与 技术 研究 院 (NIST) 对 此 有 这 样 
一 个 权威 和 经 典 的 定义 :“ 所 谓 云 计算 ， 就 是 这 样 一 种 模式 ， 该 模式 允 
许 用 户 通过 无 所 不 在 的 、 便 捷 的 、 按 需 获 得 的 网 络 接 入 到 一 个 可 动态 
配置 的 共享 计算 资源 池 (其 中 包括 了 网 络 设备 、 服 务 器 、 存 储 、 应 用 
以 及 业务 ) ， 并 且 以 最 小 的 管理 代价 或 者 业务 提供 者 交互 复杂 度 即 可 
实现 这 些 可 配置 计算 资源 的 快速 发 放 与 发 布 。” 

云 计算 的 核心 可 以 用 五 大 基本 特征 、 三 种 服务 模式 以 及 四 类 部 署 
模式 来 概括 ， 五 大 基本 特征 是 按 需 获得 的 自助 服务 、 广 泛 的 网 络 接 
入 、 资 源 闻 化 、 快 捷 的 弹性 伸缩 以 及 可 计量 的 服务 。 三 种 服务 模式 为 
云 基础 设施 即 服 务 (IaaS) 、 云 平台 即 服务 (PaaS) 以 及 云 软件 即 服 
务 (SaaS) 。 四 类 部 署 模式 可 以 划分 为 专 有 云 私有 云 ) 、 行 业 云 、 
公有 云 以 及 混合 云 。 

从 各 类 云 服 务 的 创建 、 部 署 以 及 消费 角度 来 描述 云 计 算 的 实质 ， 
意味 着 云 计算 天 然 要求 支 持 面 向 服务 的 能 力 。 现 代 企业 通常 会 将 其 IT 
基础 设施 、 业 务 平 台 以 及 软件 即 服务 的 对 外 开放 作为 其 整体 端 到 端 企 
业 信 息 架 构 SOA 解 决 方案 中 的 重要 一 环 来 执行 。 当 然 ， 软 件 即 服务 

(SaaS) 作 为 一 个 流行 多 年 的 话题 ， 最 早出 现 是 在 云 计算 概念 出 现 之 
前 ， 已 经 不 是 什么 新 鲜 概 念 了 。 


以 亚马逊 2006 年 3 月 13 日 发 布 的 S3 服 务 为 起 点 ， 到 “ 云 计 算 ” 概 念 
2008 年 最 早 被 Google 提 出 ， 至 今 已 有 8 年 多 的 历史 了 ， 其 核心 理念 已 广 
为 人 们 所 传播 和 接受 ， 也 经 历 了 方兴未艾 的 发 展 。 当 云 计算 还 处 于 概 
念 炒作 的 初级 阶段 时 ， 云 计算 一 度 成 为 I 开业 界 、 媒 体 传播 渠道 乃至 所 
有 涉及 IT 信息 化 、 政 府 宏观 规划 、 关 系 国 计 民 生 的 各 大 垂直 行业 关注 
的 焦点 ， 云 计算 也 因此 成 为 街头 埠 尾 热 议 的 “时 暑 ” 尖 题 。 与 此 同时 ， 
各 种 关于 云 计 算 的 商业 和 解决 方案 也 应 运 而 生 ， 各 类 理念 和 包装 良 蓉 
不 齐 、 不 一 而 足 ， 反 而 让 大 家 对 云 计 算 到 底 能 做 些 人 什么， 对 其 潜在 的 
客户 到 底 能 够 解决 什么 实际 问题 ， 能 够 带 来 什么 样 的 实际 价值 感到 迷 
收 ， 甚 至 使 得 大 家 对 云 计算 的 未 来 前 景 产生 了 怀疑 。 

关于 云 计 算 的 社会 价值 与 意义 ， 我 们 常常 用 一 句 话 表达 云 计算 的 
目标 诉求 :“ 未 来 让 人 们 像 用 水 和 用 电 那 样 使 用 云 计 算 ”。 在 这 里 ， 人 
们 将 云 计 算 视 为 一 种 * 水 和 电 ” 那 样 无 处 不 在 、 人 类 社会 日 常生 产 和 生 
活 过 程 中 必 不 可 少 的 基础 资源 。 这 里 我 们 用 “电力 ”来 形容 云 计算 可 能 
更 为 恰当 ， 因 为 电力 是 用 来 驱动 上 一 个 工业 文明 时 代 最 关键 的 生产 资 
料 。 电 灯 、 收 音 机 、 电 视 机 、 电 冰箱 、 电 风扇 ， 旋 至 于 自动 化 生产 线 
等 无 不 需要 依赖 电力 的 驱动 。 相 比 电 力 ， 云 计算 则 对 应 于 当前 的 知识 
与 信息 时 代 进 行 任何 信息 分 析 与 处 理 的 生产 资料 ， 用 于 支撑 
ERP/CRM/Email/BI 大 数据 乃至 金融 实时 交易 数据 处 理 等 所 有 维持 企业 
业务 正常 运作 所 需 的 按 需 获取 、 按 需 分 配 的 关键 资源 。 

从 技术 架构 演进 的 视角 来 看 ， 有 人 将 云 计算 视 为 自 IT 领 域 冯 : 诺 依 
曼 计算 机 架构 诞生 之 后 的 第 三 次 里 程 碑 式 的 变革 ， 是 对 传统 计算 架构 
与 计算 模式 的 颠覆 与 创新 。 也 有 人 认为 云 计算 无 非 是 一 种 商业 理念 
的 包装 ， 所 谓 “ 新 瓶装 旧 酒 *"， 只 是 各 个 IT 厂 商用 来 “促销 ”自己 产品 的 


一 种 “营销 活动 "， 并 没有 融 来 根本 性 的 技术 变革 ， 也 并 没有 给 IT 架构 
带 来 根本 性 的 变化 ， 那 么 真相 究竟 是 怎样 的 呢 ? 

回顾 企业 IT 架 构 演进 的 整个 历史 ， 我 们 不 难看 到 ， 冯 : 诺 依 曼 染 构 
的 第 一 台 计 算 机 诞生 以 来 的 前 30 年 ， 计 算 高 度 集中 化 、 支 持 多 用 户 多 
任务 的 大 型 机 和 小 型 机 是 企业 IT 的 主流 形态 ， 构 成 I 系统 的 软 硬 件 堆 
栈 各 层 之 间 缺 少 统一 的 工业 标准 ， 呈 现 出 内 聚 与 耦合 的 特征 ， 仪 少数 
三 家 拥有 提供 端 到 端 高 度 复杂 化 的 IT 系统 软 硬 件 的 能 力 。 那 个 时 代 ， 
IT 系统 造价 高 易 ， 往 往 是 少数 高 端 企业 才能 拥有 的 “奢侈 品 ”。 

于 是 ，20 世 纪 80 年 代 ， 以 x86 服 务 器 和 PC 系统 的 诞生 为 标志 ， 企 
业 IT 系 统 迎 来 了 第 二 次 里 程 碑 式 的 变革 : 从 All in One、 全 封闭 的 软 硬 
件 栈 走向 了 水 平分 层 的 网 络 、 存 储 、 服 务 器 、 操 作 系统 、 中 间 件 、 应 
用 层 等 多 层次 水 平分 工 的 架构 ， 各 层 之 间接 口 标准 化 、 规 范 化 ， 极 大 
地 简化 了 每 一 层 的 技术 复杂 度 ， 各 层 IT 产 业 链 获得 了 大 繁 宋 与 大 发 
展 ， 涌现 出 一 批 优秀 的 专业 化 三家， 聚焦 于 提供 该 领域 内 质量 最 佳 的 
产品 和 解决 方案 ，IT 系 统 终于 开始 走 入 “寻常 百姓 家 ”。 

然而 ， 所 谓 “ 物 极 必 反 ”， 当 这 个 染 构 分 层 发 展 到 一 定 阶段 ， 次 端 
逐步 显现 ， 由 于 企业 IT 层 次 太 多 ， 各 层 之 间 集 成 交付 的 难度 越 来 越 
大 ， 尤 其 是 当今 企业 软件 应 用 已 从 单一 实例 应 用 ， 迅 速 走向 大 规模 分 
布 式 应 用 ， 一 个 关键 业务 的 部 署 往往 需要 涉及 服务 器 、 网 络 、 存 储 等 
各 方面 基础 设施 资源 的 协同 配合 ， 使 得 业务 驱动 的 基础 设施 层 服务 
器 、 存 储 、 网 络 资源 的 集成 管理 配置 和 按 需 供给 成 为 影响 企业 IT 快速 
响应 企业 业务 需求 的 关键 制约 因素 。 同 时 软 硬 件 各 层 的 开发 虽然 实现 
了 解 耦 ， 但 部 署 和 运行 态 仍然 是 软 硬 件 耦 合 绑 定 的 和 关系， 因此 跨 服 务 
器 的 资源 出 现 忙 肉 不 均 时 ， 依 然 无 法 有 效 利 用 IT 资源 。 


随 着 企业 信息 化 进程 的 不 断 推进 ， 企 业 IT 系 统 的 使 用 者 和 维护 者 
们 逐渐 发 现 ， 分 层 架 构 体系 也 存在 着 诸多 浆 端 : 
e 软 硬 件 开发 态 解 厢 ， 但 部 署 和 运行 态 并 未 解 厅 ，; 
。 生态 链 大 繁荣 的 同时 ， 多 厂家 硬件 异 构 集 成 与 管理 的 复杂 度 
越 来 越 高 ; 

e 企业 信息 化 的 重心 向 软件 转移 ， 但 计算 、 存 储 、 网 络 硬件 弹 
性 供给 能 力 及 其 相互 协同 的 不 足 ， 越 来 越 成 为 软件 价值 提升 
的 制约 性 因素 。 

那么 ， 是 否 存 在 一 条 IT 架 构 演 进 路 径 ， 可 以 在 代价 最 小 化 ， 即 在 
不 对 现 有 和 软 硬 件 堆栈 做 颠覆 式 改 动 的 前 提 下 ， 有 效应 对 上 述 关 键 痛 点 
与 挑战 呢 ? 

答案 是 肯定 的 ， 这 就 是 IT 领域 的 第 三 次 里 程 碑 式 演进 变革 ， 即 从 
PC 与 服务 器 时 代 迈 入 云 计 算 时 代 ， 通 过 虚拟 化 与 云 调度 管理 技术 ， 将 
来 自 不 同 三 家 的 、 多 人 台 烟 秽 式 的 、 彼 此 孤立 和 割 禾 的 计算 、 和 存储、 网 
络 设备 在 逻辑 上 整合 成 为 一 台 “ 超 大 规模 云 计 算 机 ”， 为 上 层 的 软件 提 
供 弹性 的 按 需 资源 供给 的 能 力 ， 从 而 实现 软 硬 件 部 署 过 程 与 运行 态 的 
解 辜 ， 屏 数 软 硬件 异 构 多 厂家 差异 性 与 复杂 度 ， 并 填补 计算 与 存储 之 
间 的 性 能 鸿沟 。 

其 实 大 家 也 许 已 经 注意 到 ， 我 们 谈 到 云 计算 驱动 的 第 三 次 开架 构 
变革 浪潮 ， 其 实 早 在 云 计 算 理念 问世 前 的 几 年 时 间 里 ， 在 众多 互联 网 
厂家 中 已 被 多 次 实践 过 ， 并 且 取 得 了 巨大 成 功 。 那 么 普遍 意义 上 的 企 
业 IT 的 云 化 重 构 又 与 互联 网 成 功 的 实践 之 间 存 在 着 什么 样 的 关联 呢 ? 

Google、Facebook 的 “ 云 计算 机 ”服务 于 其 特定 的 商业 模式 和 业务 
应 用 ， 上 比如 搜索 类 、 社 交 类 应 用 ， 而 企业 IT 云 化 架构 所 期 望 的 “ 云 计算 
机 ”， 则 面临 着 大 量 的、 形形色色 的 面向 传统 IT 基础 设施 架构 开发 的 企 


业 应 用 和 电信 应 用 ， 它 们 的 应 用 场景 需求 既 有 相同 点 ， 也 存在 着 巨大 
的 差异 化 。 
相同 点 在 于 : 


计算 、 存 储 实现 了 大 规模 资源 闻 化 ， 实 现 了 规模 经 济 效 益 ，; 
分 布 式 染 构 与 负载 均衡 能 力 ， 资 源 可 按 业务 需求 灵活 扩展 伸 
缩 ; 

依赖 分 布 式 软件 在 系统 整体 层面 而 非 单 点 硬件 层面 实现 高 可 
靠 性 及 高 性 能 保障 。 


不 同 点 在 于 : 


普 适 性 一 一 互联 网 平台 一 般 仅 为 其 特定 业务 模型 定制 ， 企 业 
云 平台 则 要 求 具 备 对 异 构 多 厂家 应 用 的 普遍 适用 性 ; 

异 构 兼容 性 一 一 企业 云 平台 需要 考虑 异 构 厂家 硬件 的 兼容 
性 ， 需 要 实现 对 企业 IT 基础 设施 现 有 投资 的 最 大 化 保护 ; 

高 性 能 一 一 互联 网 业务 虽然 并 发 量 和 注册 用 户 量 庞大 ， 但 企 
业 高 端 应 用 在 时 延 和 性 能 方面 却 有 更 高 的 要 求 ; 

自动 化 、 虚 拟 化 一 一 互联 网 业务 模式 一 般 为 和 目 主 开发 、 自 运 
主 营 (DevOps、Development 和 Operations 的 组 合 ) ， 因 此 对 
管理 自动 化 要 求 不 迫切 ， 企 业 应 用 则 由 于 应 用 颗粒 度 不 一 ， 
基础 设施 采购 自 第 三 方 ， 因 此 管理 自动 化 和 虚拟 化 基本 为 必 


选 能 力 。 


“天 下 大 势 ， 合 久 必 分 ， 分 久 必 合 ”， 云 计算 时 代 IT 基 础 设施 演进 
的 下 一 个 十 年 ， 是 从 分 离 重 新 走向 融合 的 十 年 : 


通过 云 操作 系统 ， 将 数据 中 心 多 厂家 异 构 的 计算 、 人 存储 、 网 


络 资源 进行 水 平 融 合 ， 对 外 提供 开放 与 标准 化 的 开 服 务 接 
口 ， 实 现 面 向 利用 IT 基 础 设施 的 “融合 ”; 


。 通过 融合 架构 一 体 机 ， 将 单 厂家 计算 、 存 储 与 网 络 资源 进行 
垂直 融合 ， 提 供 模块 化 、 一 站 式 、 高 性 能 、 性 价 比 最 优 、 面 
向 新 建 IT 基础 设施 的 交付 模式 。 
无 论 IT 架 构 如 何 螺旋 式 演进 ， 客 户 价值 和 驱动 力 都 体现 在 : 
。 更 低 的 TCO” 
。 更 高 的 业务 部 署 与 生命 周期 管理 效率 ; 
。 更 优 的 业务 性 能 与 用 户 体验 。 
IT 基础 设施 架构 从 分 离 重新 走向 融合 ， 并 非 简单 的 历史 重复 ， 而 
是 在 继承 现 有 成 果 的 基础 上 创新 突破 。 无 论 是 水 平 融合 ， 还 是 垂直 融 
合 ， 在 核心 技术 支撑 方面 并 未 将 现 有 已 形成 产业 规模 的 x86 CPU 及 其 
服务 器 计算 架构 推倒 重 来 ， 而 是 在 最 大 限度 地 重用 这 些 成 熟 产业 组 件 
的 前 提 下 ， 借 助 虚拟 化 及 分 布 式 云 计算 调度 管理 软件 的 作用 ， 将 多 厂 
家 异 构 或 者 单 厂家 同 构 的 计算 、 存 储 、 网 络 整合 为 规模 可 大 可 小 的 “ 云 


计算 机 ?， 从 而 有 效 地 解决 传统 IT 架构 所 面临 的 挑战 一 一 业务 上 续 周 期 
长 ，TCO 居 高 不 下 ， 企 业 关 键 应 用 性 能 低下 。 
顾 炯 炯 


(D TCO， 总 拥有 成 本 ， 即 从 产品 采购 到 后 期 使 用 、 维 护 的 总 成 
本 。 
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第 1 章 ” 云 计算 理念 的 发 展 


过 去 20 年 内 ， 全 球 无 线 与 宽带 技术 及 其 商业 化 应 用 部 署 获得 了 长 
足 的 发 展 与 进步 ， 机 器 与 机 器 之 间 、 机 器 与 人 之 间 的 网 络 连接 不 再 是 
稀缺 资源 和 瓶颈 ， 为 IT 计 算 架 构 从 本 地 计算 模式 及 客户 端 、 服 务 器 站 
并 重 的 传统 模式 ， 向 以 “广泛 的 网 络 接 入 *、“ 计 算 、 存 储 的 集中 资源 闻 
化 “快捷 的 弹性 伸缩 " “ 按 需 自助 及 可 计量 的 服务 "为 典型 特征 的 云 
计算 模式 的 演进 铺 平 了 道路 ， 并 掀起 了 正在 席卷 全 球 的 第 三 次 IT 变革 
浪潮 。 

在 传统 IT 体系 架构 下 ， 当 前 企业 基础 设施 建设 与 运 维 所 面临 的 核 
心痛 点 问题 可 以 概括 为 如 下 几 点 。 


平均 资源 利用 率 及 能 耗 效率 低下 


针对 基础 设施 平台 建设 、 扩 容 与 更 新 换代 ， 当 前 企业 普遍 采用 的 
模式 是 服务 器 、 网 络 交换 与 安全 以 及 存储 设备 的 水 平分 层 采 购 。 各 个 
IT 基础 设施 单 部 件 的 选 型 、 效 量 以 及 不 同 部 件 的 组 网 连接 方案 均 取 决 
于 企业 开 收 集 的 各 业务 部 门 对 于 开 核心 业务 处 理 量 需求 的 预测 和 规 
划 。 同 时 ， 所 有 企业 IT 应 用 软件 、 数 据 库 以 及 中 间 件 软件 均 采用 独占 
计算 、 存 储 和 网 络 资源 的 烟 欠 式 部 署 。 软 件 应 用 与 硬件 唯一 捆绑 ， 不 
同 应 用 之 间 无 法 动态 、 高 效 共 享 相同 的 计算 与 存储 资源 。 加 之 按照 摩 
尔 定 律 不 断 翻 番 增 长 的 CPU 计算 能 力 已 大 大 超出 应 用 软件 对 计算 资源 


利用 率 的 同步 能 力 ， 导 致 企业 IT 的 平均 资源 利用 率 始终 处 在 低 于 20% 
的 水 平 。 


新 业务 上 线 测 试 周期 长 ， 效 率 低下 


企业 任何 一 项 新 业务 上 线 ， 从 最 基础 的 硬件 平台 开始 ， 向 上 了 逐 层 
延伸 至 操作 系统 、 中 间 件 、 数 据 库 以太 
CRM/ERP/HRM/PDM/Email/UC 等 各 类 业务 关键 软件 堆栈 ， 这 一 过 程 
需要 投入 IT 专 业 化 团队 ， 进 行 软件 安装 、 调 试 、 功 能 与 性 能 验证 测 
试 、 网 络 配 置 及 修改 调整 ， 然 后 经 过 若干 轮 测 试 、 故 障 及 性 能 稳定 性 
测试 定位 及 重 配置 和 调整 之 后 ， 才 能 最 终 达 到 期 望 正式 上 线 运行 的 成 
熟 度 水 准 。 这 个 过 程 一 般 需要 长 达 2 至 3 个 月 的 时 间 。 


资源 储备 及 弹性 伸缩 能 力 不 足 ， 不 具备 应 对 企业 IT 突 发 业务 
高 峰 处 理 的 能 力 


针对 特定 垂直 行业 ， 短 时 间 内 突 发 性 的 高 流量 、 高 密度 业务 需求 
(比如 节假日 期 间 对 视频 网 站 的 突 发 业务 流程 冲击 ) ， 企 业内 部 物理 
基础 设施 资产 往往 无 法 满足 短 时 间 内 迅速 获取 所 需 资产 的 需求 ， 以 及 
处 置业 务 高 峰 过 后 的 资源 闲置 问题 。 


企业 核心 信息 资产 存在 通过 个 人 PC 电脑 /便携 设备 外 泄 的 安 


全 风险 ， 无 法 在 个 人 智能 终端 (平板 电脑 、 智 能 手机 ) 方便 
地 访问 企业 防火 墙 内 的 工作 流 及 文档 


部 分 企业 核心 信息 资产 通过 员工 个 人 PC 电脑 或 便携 设备 外 泄 给 竞 
争 对 手 ， 给 企业 竞争 力 和 商业 利益 融 来 负面 影响 。 过 分 严格 的 信息 安 


全 管控 措施 又 导致 了 工作 效率 的 下 降 ， 企 业 管 理 层 及 员工 无 法 便捷 地 
通过 无 所 不 在 的 网 络 访问 企业 防火 墙 内 部 的 信息 资产 。 


中 小 型 企业 希望 通过 宽带 网 络 管道 ， 从 电信 运营 商 或 其 他 主 
机 托管 运营 商 的 托管 应 用 数据 中 心 “ 按 需 获取 ”其 所 需 的 企业 
IT 应 用 能 力 ， 从 而 实现 日 常 运作 中 IT 成 本 开销 最 小 化 


数量 众多 的 中 小 企业 ， 缺 少 IT 领域 专业 经 验 ， 甚 至 没有 财力 和 精 
力 建设 和 维持 自己 专属 的 IT 部 门 以 及 IT 基础 设施 平台 ， 普 遍 和 希望 可 以 
直接 从 托管 运营 商 那 里 获取 支撑 其 日 党 业务 运作 所 需 的 SaaS 服 务 。 

针对 解决 上 述 企业 IT 系统 建设 和 维护 过 程 中 遇 到 的 普遍 问题 ， 迫 
切 呼 唤 业 界 IT 软 硬件 解决 方案 提供 商 借助 云 计算 技术 ， 打 造 TCO、 性 
价 比 与 效率 最 优 的 “IT 基础 设施 私有 云 及 公有 云 "， 有 具体 包括 : 

” 面向 大 型 企业 和 行业 领域 提供 全 自动 化 管理 、 一 站 式 交 付 、 
支持 与 企业 ITIL 无 缝 集成 融合 、TCO 最 优化 的 端 到 端 解决 方 
案 ， 实 现 企 业 传统 IT 基础 设施 的 改造 、 扩 容 和 新 建 ; 

” 面向 中 小 型 企业 (SMB)， 提 供 支 持 多 租户 安全 隔离 与 动态 发 
放 、 超 大 规模 资源 池 调 度 管理 、 可 最 大 限度 地 发 挥 规模 经 济 
效益 的 公有 云 托管 解决 方案 。 

无 论 上 述 哪 一 类 形态 ， 企 业 云 计 算 IT 基础 设施 平台 均 可 定位 于 基 
础 设施 、 中 间 层 云 平台 服务 、 云 计算 业务 发 放 与 维护 管理 。 针 对 云 平 
台 服 务 层 之 上 的 多 样 化 的 内 部 IT 软 件 及 外 部 增值 业务 软件 ， 企 业 〈 含 
运营 商 ) 可 奉行 “ 深 淘 滩 、 低 作 堰 ”的 原则 ， 广 结 各 方 ITSV 合 作 联盟 ， 建 
设 依托 于 云 计 算 平 台 、 繁 薪 的 企业 私有 云 及 公有 云 生 态 系统 。 

通过 上 述 私 有 云 /公有 云 生 态 系统 的 建设 ， 使 得 企业 及 运营 商 客户 
可 以 真正 将 “IT 基础 设施 平台 ”与 “核心 业务 流程 > 及 “对 外 服务 ” 解 耦 ， 


大 幅 精 简 企 业 、 运 营 商 的 内 部 IT 及 对 外 业务 的 基础 设施 层 建设 部 署 、 
运营 维护 及 生命 周期 管理 成 本 ， 从 而 更 好 地 聚焦 * 核 心 业务 流程 "及 “对 
外 服务 ”的 开发 与 定制 ， 帮 助 企业 和 运营 商 在 新 形势 下 获得 可 持续 发 
展 。 用 一 句 话 高 度 概括 企业 云 计 算 IT 基 础 设施 平台 的 核心 价值 就 是 : 
“精简 IT， 敏 捷 商 道 ” 


1.2” 云 计算 的 


由 于 技术 方面 的 限制 ， 前 面 几 年 云 计算 的 主要 应 用 仍然 仅仅 局 限 
在 互联 网 领域 以 及 规模 有 限 的 公有 云 的 建设 方面 ， 而 在 私有 云 的 建设 
方面 ， 往 往 仪 仅 将 建设 聚焦 在 企业 内 部 的 生产 云 和 测试 云 ， 以 及 外 转 
办 公 梨 面 系统 上 。 

随 着 云 计 算 技 术 日 新 月 异 的 发 展 ， 以 及 信息 产业 界 不 懈 的 “化 云 为 
十 ”的 努力 ， 云 计算 迈 入 了 一 个 新 的 阶段 ， 云 计算 在 企业 信息 化 以 及 电 
信和 网络 转型 变革 中 进行 了 全 面 渗透 与 应 用 落地 。 

总 体 来 说 ， 新 阶段 云 计 算 区 别 于 以 往 的 关键 差别 体现 在 以 下 几 个 
方面 。 


差别 1: 从 IT 非 关键 应 用 走向 电信 网 络 应 用 和 企业 关键 应 用 


站 在 云 计算 面向 企业 IT 及 电信 网 络 的 使 用 范围 的 视角 来 看 ， 云 计 
算 发 展 初期 ， 虚 拟 化 技术 主要 局 限于 非 关 键 应 用 ， 比 如 办 公 桌 面 云 、 
开发 测试 云 等 。 该 阶段 的 应 用 往往 对 底层 虚拟 化 之 来 的 性 能 开销 并 不 
敏感 ， 人 们 更 加 关注 于 资源 池 规 模 化 集中 之 后 资源 利用 效率 的 提升 以 
及 业务 部 署 效率 的 提升 。 然 而 ， 随 着 云 计算 的 持续 深入 普及 ， 企 业 IT 
云 化 的 范围 已 从 周边 软件 应 用 ， 逐 步 走向 更 加 关键 的 企业 应 用 ， 甚 至 


企业 的 核心 生产 IT 系统 。 由 此 ， 如 何 确保 云 平台 可 以 更 为 高 效 、 更 为 
可 靠 地 支撑 好 时 延 敏 感 的 企业 关键 应 用 ， 就 变 得 至 关 重 要 。 

对 于 企业 IT 基 础 设施 的 核心 资产 而 言 ， 除 去 实 实在 在 的 计算 、 存 
储 、 网 络 资源 等 有 形 物理 资产 之 外 ， 最 有 价值 的 莫 过 于 企业 数据 这 些 
无 形 资产 。 在 云 计算 的 计算 虚拟 化 技术 发 展 初级 阶段 ，Guest OS 与 
Host OS 之 间 的 前 后 端 WO 队 列 在 WO 吞吐 上 的 开销 较 大 ， 而 传统 的 结构 
化 数据 由 于 对 IO 性 能 吞吐 和 时 延 要 求 很 高 ， 这 两 个 原因 导致 很 多 事务 
关键 型 结构 化 数据 在 云 化 的 初级 阶段 并 未 被 纳入 虚拟 化 改造 的 范畴 ， 
从 而 使 得 相关 结构 化 数据 的 基础 设施 仍 处 于 虚拟 化 乃至 云 计 算 资 源 池 
的 管理 范围 之 外 。 然 而 随 着 虚拟 化 XEN/KVM3| 擎 在 WO 性 能 上 的 不 断 
优化 提升 (如 采用 SR-IOV 直 通 、 多 队列 优化 技术 ) ， 使 得 处 于 企业 核 
心 应 用 的 ERP 等 关系 型 关键 数据 库 迁 移 到 虚拟 化 平台 上 实现 部 署 和 运 
行 已 不 是 问题 。 

与 此 同时 ， 云 计算 在 最 近 2~3 年 内 ,已 从 概念 发 产地 的 互联 网 IT 
领域 渗透 到 电信 运营 商 网 络 领域 。 互 联网 商业 和 技术 模式 的 成 功 ， 启 
发 电信 运营 商 们 通过 引入 云 计算 实现 对 现 有 电信 和 网络 和 网 元 的 重 构 来 
打破 传统 意义 上 电信 厂家 所 采用 的 电信 和 软件 与 电信 硬件 绑 定 的 销售 模 
式 ， 同 样 享受 到 云 计算 为 IT 领 域 带 来 的 红利 ， 如 : 硬件 TCO 的 降低 、 
绿色 节能 、 业 务 创新 和 部 署 效 率 的 提升 、 对 多 国 多 子 网 的 电信 功能 的 
快速 软件 定制 化 以 及 更 强 的 对 外 能 力 开放 。 


差别 2: 从 计算 虚拟 化 走向 存储 虚拟 化 和 网 络 虚拟 化 


从 支 择 云 计算 按 需 、 弹 性 分 配 资 产 ， 与 硬件 解 耦 的 虚拟 化 技术 的 
角度 来 看 ， 云 计算 早期 阶段 主要 聚焦 在 计算 虚拟 化 领域 。 事 实 上 ， 众 
所 周知 的 计算 虚拟 化 技术 早 在 IBM 370 时 代 就 已 经 在 其 大 型 机 操作 系 


统 上 诞生 了 。 近 术 原 理 是 通过 在 OS 与 裸 机 硬件 之 间 插 入 虚拟 化 层 ， 来 
在 裸 机 硬件 指令 系统 之 上 仿真 模拟 出 多 个 370 大 型 机 的 “运行 环境 "， 使 
得 上 层 “ 误 认为 ”自己 运行 在 一 个 独占 系统 之 上 ， 实 际 上 是 由 计算 虚拟 
化 引擎 在 多 个 虚拟 机 之 间 进 行 CPU 分 时 调度 ， 同 时 对 内 存 、1/O、 网 络 
等 访问 进行 访问 屏 焙 。 当 x86 平 台 演进 成 为 在 IT 领 域 硬件 平台 的 主流 之 
后 ，VMware ESX、XEN、KVM 等 依托 于 单机 OS 的 计算 虚拟 化 技术 才 
将 IBM 370 的 虚拟 化 机 制 在 x86 服 务 器 的 硬件 体系 架构 下 实现 并 进行 商 
品 化 ， 并 且 在 单机 / 单 服 务 器 虚拟 化 的 基础 上 ， 引 入 了 有 具备 虚拟 机 动态 
迁移 和 HA 调度 能 力 的 中 小 集群 管理 软件 (如 vCenter/vSphere、XEN 
Center、Fusion Sphere 等 ) ， 从 而 形成 了 当前 的 计算 虚拟 化 主体 。 

随 着 数据 和 信息 越 来 越 成 为 企业 IT 中 最 为 核心 的 资产 ， 作 为 数据 
言 息 持 久 化 载体 的 存储 已 经 逐步 从 服务 器 计算 中 剥离 出 来 ， 成 为 一 个 
庞大 的 独立 产业 ， 与 必 不 可 少 的 CPU 计算 能 力 一 样 ， 在 数据 中 心 发 挥 
着 至 关 重 要 的 作用 。 当 企业 对 存储 的 需求 发 生变 化 时 该 如 何 快速 满足 
新 的 需求 以 及 如 何 利 用 好 已 经 存在 的 多 厂家 的 存储 ， 这 些 问 题 都 需要 
存储 虚拟 化 技术 来 解决 。 

与 此 同时 ， 现 代 企 业 数 据 中 心 的 全 硬件 的 主体 已 经 不 再 是 封闭 
的 、 主 从 式 架 构 的 大 型 机 、 小 型 机 一 统 天 下 的 时 代 。 客 户 端 与 服务 器 
之 间 南 北方 向 通信 、 服 务 器 与 服务 器 之 间 东 西方 向 协作 通信 以 及 从 企 
业内 部 网 络 访问 远程 网 络 和 公众 网 络 的 通信 均 已 走 入 了 基于 对 等 、 开 
放 为 主要 特征 的 以 太 互联 和 广域网 互联 时 代 。 因 此 ， 网 络 也 成 为 计 
算 、 存 储 之 后 ， 数 据 中 心 IT 基础 设施 中 不 可 或 缺 的 “三 要 素 ” 之 一 。 

就 企业 数据 中 心 端 到 端 基础 设施 解决 方案 而 言 ， 服 务 器 计算 虚拟 
化 已 经 远 远 不 能 满足 用 户 在 企业 数据 中 心 内 对 按 需 分 配 资产、 弹性 分 


配 资 源 、 与 硬件 解 耦 的 分 配 资源 的 能 力 需 求 ， 由 此 存储 虚拟 化 和 网 络 
虚拟 化 技术 应 运 而 生 。 

除去 云 管 理 和 调度 所 完成 的 管理 控制 面 的 API 与 信息 模型 归 一 化 
处 理 之 外 ， 虚 拟 化 的 重要 特征 是 通过 在 指令 访问 的 数据 面 上 ， 对 所 有 
原始 的 访问 命令 字 进 行 截获 ， 并 实时 执行 “欺骗 ” 式 仿真 动作 ， 使 得 被 
访问 的 资源 呈现 出 与 其 真正 的 物理 资源 不 同 的 (软件 无 需 关注 硬 
件 ) 、“ 按 需 获 取 ” 的 颗粒 度 。 对 于 普通 x86 服 务 器 来 说 ，CPU 和 内 存 资 
源 虚 拟 化 后 再 将 其 〈 以 虚拟 机 CPU/ 内 存 规 格 ) 按 需 供给 资源 消费 者 
(上 层 业 务 用 户 ) 。 由 于 计算 能 力 的 快速 发 展 ， 以 及 软件 通过 负载 均 
衡 机 制 进行 水 平 扩展 的 能 力 提 升 ， 计 算 虚 拟 化 中 仅 存 在 资源 池 的 “大 分 
小 ”的 问题 。 然 而 对 于 存储 来 说 ， 由 于 最 基本 的 硬盘 (SATA/SAS) 容 量 
有 限 ， 而 客户 、 租 户 对 数据 容量 的 需求 越 来 越 大 ， 因 此 必须 考虑 对 数 
据 中 心 内 跨越 多 个 松 耦 合 的 分 布 式 服务 器 单元 内 的 存储 资源 (服务 器 
内 的 存储 资源 、 外 置 SANNAS 在 内 的 存储 资源 ) 进行 “小 聚 大 ”的 整 
合 ， 组 成 存储 资源 池 。 这 个 存储 资源 地 ， 可 能 是 某 一 厂家 提供 的 存储 
软 硬 件 组 成 的 同 构 资源 池 ， 也 可 能 是 被 存储 虚拟 化 层 整 合成 为 跨 多 厂 
家 异 构 存 储 的 统一 资源 地 。 各 种 存储 资源 池 均 能 以 统一 的 块 存储 、 对 
象 存储 或 者 文件 的 数据 面 格式 进行 访问 。 

对 于 数据 中 心 网 络 来 说 ， 网 络 的 需求 并 不 是 凭空 而 来 的 ， 而 是 来 
源 于 业务 应 用 ， 与 作为 网 络 端 节点 的 计算 和 存储 资源 有 着 无 法 切断 的 
内 在 关联 性 。 然 而 ， 传 统 的 网 络 交换 功能 都 是 在 物理 交换 机 和 路 由 器 
设备 上 完成 的 ， 网 络 功能 对 上 层 业 务 应 用 而 言 仅 仅 体现 为 一 个 一 个 被 
通信 链 路 连接 起 来 的 孤立 的 “盒子 ”， 无 法 动态 感知 来 自 上 层 业 务 的 网 
络 功能 需求 ， 完 全 需要 人 工 配 置 的 方式 来 实现 对 业务 层 网 络 组 网 与 安 
全 隔离 策略 的 需要 。 在 多 租户 虚拟 化 的 环境 下 ， 不 同 租户 对 于 边缘 的 


路 由 及 网 关 设 备 的 配置 管理 需求 存在 极 大 的 差异 化 ， 而 物理 路 由 器 和 
防火 墙 自身 的 多 实例 能 力也 无 法 满足 云 环境 下 租户 数量 的 要 求 ， 采 用 
与 租户 数量 等 量 的 路 由 器 与 防火 墙 物 理 设备 ， 成 本 上 又 无 法 被 多 数 客 
户 所 接受 。 于 是 人 们 思考 是 否 可 能 将 网 络 自身 的 功能 从 专用 封闭 平台 
迁移 到 服务 器 通用 x86 平 台 上 来 。 这 样 至 少 网 络 端 节点 的 实例 可 以 由 云 
操作 系统 来 直接 目 动 化 地 创建 和 销毁 ， 并 通过 一 次 性 建立 起 来 的 物理 
网 络 连接 和 矩阵， 进行 任意 两 个 网 络 端 节点 之 间 的 虚拟 通信 和 链 路 建立 ， 
以 及 必要 的 安全 隔离 保障 ， 从 而 里 程 碑 式 地 实现 了 业务 驱动 的 网 络 自 
动 化 管理 配置 的 能 力 ， 大 幅度 降低 数据 中 心 网 络 管理 的 复杂 度 。 从 资 
源 利 用 率 的 视角 来 看 ， 任 意 两 个 虚拟 网 络 节点 之 间 的 流量 带宽 ， 都 需 
要 通过 物理 网 络 来 交换 和 承载 ， 因 此 只 要 不 超过 物理 网 络 的 资源 配额 
上 限 (默认 建议 物理 网 络 按照 无 阻塞 的 CLOS 模 式 来 设计 实施 ， 只 
要 虚拟 节点 被 释放 ， 其 所 对 应 的 网 络 带 宽 占用 也 将 被 同步 释放 ， 因 此 
也 就 相当 于 实现 对 物理 网 络 资源 的 最 大 限度 的 “网 络 资源 动态 共享 ”。 
换 句 话说 ， 网 络 虚 拟 化 让 多 个 盒子 式 的 网 络 实体 第 一 次 以 一 个 统一 整 
合 的 “网 络 资源 闻 ” 的 形态 出 现在 业务 应 用 层面 前 ， 同 时 与 计算 和 存储 
资源 之 间 也 有 统一 协同 机 制 |。 


差别 3: 资源 池 从 小 规模 的 资源 虚拟 化 整合 走向 更 大 规模 的 
资源 池 构 建 ， 应 用 范围 从 企业 内 部 走向 多 租户 的 基础 设施 服 
务 乃 至 端 到 端 IT 服 务 


站 在 云 计算 提供 像 用 水 用 电 一 样 方便 的 服务 能 力 的 技术 实现 角度 
来 看 ， 云 计算 发 展 早期 ， 虚 拟 化 技术 (如 VMware ESX， 微 软 Hyper- 
V， 基 于 Linux 的 XEN、KVM) 被 普遍 采用 ， 用 来 实现 以 服务 器 为 中 
心 的 虚拟 化 资源 整合 。 在 这 个 阶段 ， 企 业 数 据 中 心中 的 服务 器 只 是 音 


分 孤岛 式 的 虚拟 化 以 及 资源 池 整 合 ， 还 没有 明确 的 多 租户 以 及 服务 自 
动 化 的 理念 。 在 该 阶段 ， 服 务 器 资源 池 整 合 的 服务 对 象 是 数据 中 心 的 
基础 设施 硬件 以 及 应 用 软件 的 管理 人 员 。 在 实施 虚拟 化 之 前 ， 物 理 的 
服务 器 及 存储 、 网 络 硬 件 是 数据 中 心 管 理 人 员 的 管理 对 象 ， 在 实施 虚 
拟 化 之 后 ， 管 理 对 象 从 物理 机 转变 为 虚拟 机 及 其 对 应 的 存储 卷 、 软 件 
虚拟 交换 机 ， 甚 至 软件 防火 墙 功能 。 目 标 是 实现 多 应 用 实例 和 操作 系 

统 软件 在 硬件 上 最 大 限度 地 共享 服务 器 硬件 ， 通 过 多 应 用 负载 的 削 峰 
错 谷 达 到 资源 利用 率 提升 的 目的 ， 同 时 为 应 用 软件 进一步 提供 额外 的 
HA/FT (High Availability/Fault Tolerance， 高 可 用 性 /容错 ) 可 靠 性 保 
护 ， 以 及 通过 轻 载 合并 、 重 载 分 离 的 动态 调度 ， 对 空 载 服 务 器 进行 下 
电 控制 ， 实 现 PUE 功 耗 效率 的 优化 提升 。 

然而 ， 这 些 虚拟 化 资源 池 的 构建 ， 仅 仅 是 从 数据 中 心 管 理 员 视 角 

实现 了 资源 利用 率 和 能 效 比 的 提升 ， 与 真正 的 多 租户 云 服务 模式 仍然 
相差 其 远 。 因 为 在 云 计算 进一步 走向 普及 深入 的 新 阶段 ， 通 过 虚拟 化 
整合 之 后 的 资源 池 的 服务 对 象 ， 不 能 再 仅仅 局 限于 数据 中 心 管 理 员 本 
身 ， 而 需要 扩展 到 每 we 因此 云 平 台 必 须 在 基础 设施 资源 运 维 
监控 管理 Portal 的 基础 上 ， 进 一 步 面向 每 个 内 部 或 者 外 部 的 云 租户 提供 
按 需 定制 的 基础 设施 资源 ， rn 维护 管理 的 Portal 或 者 API 界 
面 ， 并 将 虚拟 化 或 者 物理 的 基础 设施 资源 的 增 、 删 、 改 、 查 等 权限 按 
照 分 权 分 域 的 原则 赋予 每 个 云 租户 ， 每 个 云 租 户 仅 被 授权 访问 其 自己 
申请 创建 的 计算 、 存 储 以 及 与 相应 资源 附着 绑 定 的 OS 和 应 用 软件 资 
源 ， 最 终 使 得 这 些 云 租户 可 以 在 无 需 购 买 任何 硬件 IT 设备 的 前 提 下 ， 
实现 按 需 快速 资源 获取 ， 以 及 高 度 自 动 化 部 署 的 开业 务 敏捷 能 力 的 支 
撑 ， 从 而 将 云 资 源 闻 的 规模 经 济 效 益 和 弹性 按 需 的 快速 资源 服务 的 价 
值 充分 发 掘 出 来 。 


差别 4: 数据 规模 从 小 规模 走向 海量 ， 数 据 形态 从 传统 结构 
化 走向 非 结 构 化 和 半 结 构 化 


站 在 云 计算 系统 需要 提供 的 处 理 能 力 角 度 看 ， 随 着 智能 终端 的 普 
及 、 社 区 网 络 的 火热 、 物 联网 的 逐步 兴起 ，IT 网 络 中 的 数据 形态 已 经 
由 传统 的 结构 化 、 小 规模 数据 ， 迅 速 发 展 成 为 有 大 量 文本 、 大 量 图 
片 、 大 量 视频 的 非 结 构 化 和 半 结 构 化 数据 ， 数 据 量 也 呈 几 何 级 增长 。 

对 非 结构 化 、 半 结构 化 大 数据 的 处 理 而 产生 的 数据 计算 和 存储 量 
的 规模 需求 ， 已 远 远 超出 传统 的 Scale-up 硬 件 系 统 可 以 处 理 的 ， 因 此 要 
求 必须 充分 利用 云 计算 提供 的 Scale-out 架 构 特征 ， 按 需 获得 大 规模 资 
源 闻 来 应 对 大 数据 的 高 效 高 容量 分 析 人 处理 的 需求 。 

企业 内 日 常事 务 交 易 过 程 中 积累 的 大 数据 或 者 从 关联 客户 社交 网 
络 以 及 网 站 服务 中 抓 取 的 大 数据 ， 其 加 工 处 理 往往 并 不 需要 实时 处 
理 ， 也 不 需要 系统 处 于 持续 化 的 工作 态 ， 因 此 共享 的 海量 存储 平台 ， 
以 及 批量 并 行 计算 资源 的 动态 申请 与 释放 能 力 ， 将 成 为 未 来 企业 以 最 
高 效 的 方式 支撑 大 数据 资源 需求 的 解决 方案 备 选项 。 


差别 5: 企业 应 用 接 入 模式 从 传统 接 入 走向 BYOD 接 入 


从 云 计算 系统 给 终端 用 户 提 供 的 接 入 能 力 角度 看 ， 云 计算 架构 
下 ， 随 同 企业 用 户 近 端 计算 、 存 储 资源 向 远 端的 数据 中 心 的 迁移 和 集 
中 化 部 署 ， 带 来 了 企业 用 户 如 何 通 过 企业 内 部 局 域 网 及 外 部 固定 、 移 
动 宽带 广域网 等 多 种 不 同 途 径 ， 借 助 固定 、 移 动 等 多 种 不 同 瘦 终 端 或 
智能 终端 形态 接 入 云端 企业 应 用 的 问题 。 面 对 局 域 网 及 广域网 连接 在 
通信 和 包 转 发 与 传 输 时 延 不 稳定 、 丢 包 以 及 端 到 端 QoS 质量 保障 机 制 缺 


失 等 实际 挑战 ， 如 何 确保 远程 云 接 入 的 性 能 体验 达到 与 本 地 计算 相同 

的 水 平 ， 成 为 企业 云 计算 IT 基 础 设施 平台 面临 的 又 一 大 挑战 。 

为 应 对 云 接 入 管道 上 不 同业 务 类 型 对 业务 体验 的 不 同 诉求 ， 解 决 
业界 通用 远程 桌面 协议 (如 RDP) 在 满足 本 地 计算 体验 能 力 方面 存在 的 
缺陷 与 不 足 ， 需 重点 关注 ALL IP 多 媒体 音 视 频 端 到 端 QoS/QoE 优 化 ， 
尤其 是 在 远程 桌面 接 入 协议 中 对 不 同业 务 类 别 进行 动态 识别 并 区 别处 
理 ， 使 其 满足 如 下 场景 需求 。 

> 普通 办 公 业 务 响 应 时 延 小 于 100ms， 带 宽 占 用 小 于 150Kbps: 

通过 在 服务 器 端 截获 GDI/DX/OpenGL 绘 图 指令 ， 结 合 对 网 络 

流量 的 实时 监控 和 分 析 ， 从 而 选择 最 佳 的 传输 方式 和 压缩 算 
法 ， 将 服务 端 绘 图 指令 重 定向 到 瘦 客 户 端 或 软 终端 重 放 ， 从 
而 实现 时 延 与 带宽 占用 的 最 小 化 。 

” 针对 虚拟 桌面 环境 下 VoIP 质量 普遍 不 佳 的 情况 ， 默 认 的 桌面 
协议 TCP 连 接 不 适合 作为 VoIP 承载 协议 的 特点 : 采用 
RTP/UDP 代替 TCP ， 并 选择 G.729/AMR 等 成 熟 的 VoIP 
Codec; 在 瘦 客 户 端 可 以 支持 VoIP/UC 客 户 端的 情况 下 ， 尽 量 
引入 VoIP 虚拟 机 旁 路 方案 ， 从 而 减少 不 必要 的 额外 编 解 码 处 
理 带 来 的 时 延 及 话音 质量 上 的 开销 ; 上 述 优 化 措施 使 得 虚拟 
桌面 环境 下 的 话音 业务 MOS 平 均 评 估 值 从 3.3 提 升 到 4.0。 

> 针对 远程 云 接 入 的 高 清 (1080p/720p) 视频 播放 场景 : 在 云端 
桌面 的 多 虚拟 机 并 发 且 支 持 媒 体 流 重 定向 的 场景 下 ， 针 对 普 
通 瘦 终端 高 清 视频 解码 处 理 能 力 不 足 的 问题 ， 桌 面 接 入 协议 
客户 端 软件 应 具备 通过 专用 API 调 用 瘦 终 端 蕊 片 

(ARM/ATOM) 多 媒体 硬 解 码 处 理 能 力 ; 部 分 应 用 如 Flash 

以 及 直接 读 写 显卡 硬件 的 视频 软件 ， 必 须 依赖 GPU 或 硬件 


Wil 


DSP 的 并 发 编 解码 能 力 ， 基 于 通用 CPU 的 软件 编 解 码 将 导致 
画面 停滞 ， 体 验 无 法 接受 ， 可 选择 由 硬件 GPU 虚 拟 化 或 DSP 
加 速 卡 来 有 效 提升 云端 高 清 视频 应 用 的 访问 体验 ， 达 到 与 本 
地 视频 播放 相同 的 清晰 与 流畅 度 。 桌 面 协议 还 能 够 智能 识别 
并 区 分 画面 变化 热度 ， 仅 对 变化 度 高 且 绘图 指令 重 定向 无 法 
覆盖 部 分 才 启动 带宽 消耗 较 高 的 显存 数据 压缩 重 定 向 。 

> 针对 工程 机 械 制图 、 硬 件 PCB 制 图 、3D 游 戏 、VR 仿 真 ， 甚 至 

Win7 Aero 透明 效果 等 云端 图 形 计 算 密 集 型 类 应 用 : 需要 虚拟 
化 GPU 资源 进行 硬件 辅助 的 泻 染 与 压缩 加 速 处 理 。 

男 一 方面 ， 正 当 全 球 消费 者 IT 步 入 方兴未艾 的 Post-PC 时 代 大 门 之 
时 ，iOS 及 Android 智 能 终端 正在 悄悄 取代 企业 用 户 办 公 位 上 的 PC 甚至 
便携 电脑 ， 企 业 用 户 希 望 通过 智能 终端 不 仅 可 以 方便 地 访问 传统 
Windows 桌 面 应 用 ， 还 可 以 从 统一 的 “桌面 工作 空间 ”访问 公司 内 部 的 
Web SaaS 应 用 、 第 三 方 的 外 部 Saas 应 用 以 及 其 他 Linux 桌 面 系 统 里 的 应 
用 ， 而 且 希 望 一 套 企业 的 云端 应 用 可 以 不 必 针 对 每 类 智能 终端 OS 平台 
开发 多 套 程 序 ， 就 能 够 提供 覆盖 所 有 智能 终端 形态 的 统一 业务 体验 ， 
基于 此 考虑 ， 企 业 云 计算 代 基 础 设施 需要 在 面向 传统 Windows 桌 面 应 
用 云 接 入 的 自 研 桌面 协议 基础 上 ， 引 入 基于 HTML5 协 议 、 支 持 跨 多 种 
桌面 OS 系统 、 支 持 统 一 认证 及 应 用 聚合 、 支 持 应 用 零 安装 升级 维护 以 
及 异 构 智 能 终端 多 屏 接 入 统一 体验 的 云 接 入 解决 方案 一 一 Web 
Desktopo 


差别 6: 云 平台 从 闭 产 、 封 闭 走 向 开源 、 开 放 


从 云 计 算 平 台 的 接口 兼容 能 力 角度 看 ， 云 计算 早期 阶段 ， 闭 源 
VMware vSphere/ vCenter、 微 软 SystemCenter/Hyper-V 云 平台 软件 由 于 


其 虚拟 化 成 熟 度 遥 遥 领 先 于 开源 云 平 台 软 件 的 成 熟 度 ， 因 此 导致 闭 源 
的 私有 云 平台 成 为 业界 主流 的 选择 。 然 而 ， 随 着 XEN/ KVM 虚 拟 化 开 
源 ， 以 及 OpenStack、CloudStack、Eucalyptus 等 云 操 作 系 统 OS 开 源 软 
件 系 统 的 崛起 和 快速 进步 ， 开 产 力 量 迅 速 友 展 壮大 起 来 ， 迎 头 赶 上 并 
逐步 成 长 为 可 以 左右 行业 发 展 格局 的 重要 决定 性 力量 。 仪 以 OpenStack 
为 例 ， 目 前 IBM、HP、Suse、Redhat、Ubuntu 等 领先 的 软 硬 件 公 司 都 
已 成 为 OpenStack 白 金 会 员 ， 从 2010 年 诞生 第 一 个 版 本 开始 ， 平 均 每 半 
年 发 布 一 个 新 版 本 ， 所 有 会 员 均 积极 投身 到 开源 贡献 中 来 ， 到 目前 为 
止 已 推出 8 个 版 本 (A/B/C/D/E/F/G/H/T)， 功 能 不 断 完善 。 到 2014 年 上 
半年 ，OpenStack 的 成 熟 度 与 vCloud/ vSphere 5.0 版 本 的 水 平 相当 ， 满 
足 基 本 规模 商用 和 部 署 要 求 。 从 目前 的 发 展 态势 来 看 ，OpenStack 开 源 
大 有 成 为 云 计算 领域 的 Linux 开 源 之 势 。 回 想 2001 年 前 后 当 Linux OS 仍 
相当 弱小 、UNIX 操 作 系 统 大 行 其 道 且 占据 企业 IT 系统 主要 生产 平台 的 
阶段 时 ， 多 数 人 不 会 想象 到 仅 10 年 时 间 ，Linux 已 取代 UNIX， 成 为 主 
导 企 业 IT 服 务 端 的 默认 OS 选择 ， 开 源 Linux 正 在 配合 Intel x86 来 取代 小 
型 机 、 大 型 机 。 

本 书 下 面 的 内 容 将 重点 围绕 云 计算 出 现 的 这 些 新 变化 来 讲述 云 计 
算 的 架构 技术 。 


第 2 章 ” 云 计算 的 架构 内 涵 与 关键 技 


从 上 述 分 析 不 难看 出 ， 云 计算 推动 了 IT 领 域 自 20 世 纪 50 年 代 以 来 的 
第 三 次 变革 浪潮 ， 对 各 行 各 业 数 据 中 心 基础 设施 的 架构 演进 及 上 层 应 用 
与 中 间 件 层 软件 的 运营 管理 模式 产生 深远 影响 。 在 云 计算 发 展 早 期 ， 
Google、Amazon、Facebook 等 互联 网 巨头 们 在 其 超大 规模 Web 搜 索 、 电 
子 商 务 及 社交 等 创新 应 用 的 牵引 下 ， 树 立 了 业界 云 计算 平台 基础 架构 的 
标杆 与 典范 ， 但 那个 时 期 ， 多 数 行 业 与 企业 IT 的 数据 中 心 仍然 是 基于 传 
统 的 以 硬件 资源 为 中 心 的 架构 ， 即 便 是 已 进行 了 部 分 云 化 的 探索 ， 也 多 
为 新 建 的 孤岛 式 虚 拟 化 资源 池 〈 如 基于 VMware 的 服务 器 资源 整合 ) ， 
或 者 仅仅 对 原 有 软件 系统 的 服务 器 进行 虚拟 化 整合 改造 。 随 着 云 计算 技 
术 与 市 场 的 发 展 ， 近 两 年 云 计算 技术 与 架构 才 开 始 在 各 行 各 业 信 息 化 建 
设 中 和 数据 中 心 的 演进 变革 中 逐步 得 到 了 真正 广泛 和 全 面 的 落地 部 署 与 
应 用 。 企 业 数 据 中 心 基 础 设施 架构 正在 面临 着 一 场 前 所 未 有 的 变革 ， 即 
从 “硬件 定义 ”向 “软件 定义 ”的 云 化 基础 设施 架构 演进 。 云 计算 将 为 运营 
商 和 企业 带 来 业务 敏捷 性 、 核 心 生 产 力 与 竞争 力 的 大 幅 提 升 ，IT 基 础 设 
施 资源 实现 最 优化 配置 。 

那么 ， 云 计算 新 发 展 阶段 具体 的 架构 形态 究竟 应 该 是 怎样 的 呢 ? 是 
否 存 在 一 个 对 于 所 有 垂直 行业 的 企业 数据 中 心 基 础 设施 云 化 演进 ， 以 及 
无 论 对 于 公有 云 和 私有 云 场景 都 普遍 适用 的 标准 化 云 平 台 架 构 呢 ? 


答案 无 疑 是 肯定 的 。 就 IT 基础 设施 与 上 层 软 件 应 用 的 耦合 度 而 言 ， 
在 业务 应 用 软件 逻辑 的 执行 层面 上 ， 由 于 Intel x86 服 务 器 架构 已 成 为 企 
业 IT 平 台 的 普遍 选择 ， 以 及 x86 服 务 器 逐渐 替代 RISC 及 UNIX 小 型 机 ， 使 
得 基于 x86 指 令 体 系 的 二 进 制 可 执行 代码 成 为 普遍 的 选择 。 更 进一步 ， 
由 于 Windows、Linux 操 作 系 统 在 各 行业 IT 系 统 中 的 广泛 采用 与 普及 ， 操 
作 系 统 层面 的 系统 调用 API 也 成 为 上 层 应 用 与 服务 器 主机 基础 设施 硬件 
资源 交互 的 默认 界面 。 这 基本 上 完全 解除 了 上 层 软件 应 用 与 底层 硬件 平 
台 之 间 的 耦合 与 依赖 性 。 在 业务 应 用 软件 与 其 所 需 的 基础 设施 资源 之 间 
的 管理 调度 层面 上 ， 通 过 对 基础 设施 即 服务 〈IaaS) 面 向 上 层 的 API 定 义 
的 标准 化 与 规范 化 ， 同 样 可 以 实现 我 们 所 期 望 的 软 硬 件 解 耦 。 

从 系统 架构 视角 看 ， 尽 管 私 有 云 与 公有 云 的 外 在 商业 模式 与 运营 管 
理 模 式 存在 显著 的 差别 ， 然 而 从 技术 视角 来 看 ， 无 论 是 公有 云 还 是 私有 
云 ， 其 核心 实质 是 完全 相同 的 : 首先 将 硬件 上 分 散 的 、 孤 立 的 多 个 设备 
资源 ， 在 逻辑 上 整合 构建 为 一 个 大 规模 的 统一 资源 池 ， 然 后 再 基于 此 资 
产地 ， 以 Web Portal 或 者 API 为 界面 ， 向 外 部 云 租户 或 者 内 部 云 租 户 提供 
按 需 分 配 与 释放 的 基础 设施 资源 池 ， 云 租户 可 以 通过 Web Portal 或 者 API 
界面 给 出 其 从 管理 规划 和 应 用 需求 视角 出 发 对 计算 、 存 储 、 网 络 等 基础 
设施 资源 的 规模 大 小 以 及 QoS/SLA 量 化 规格 方面 的 需求 ， 并 依赖 云 计算 
架构 平台 来 实现 对 业务 请 求 界面 上 所 需 的 高 度 自动 化 的 、 弹 性 按 需 的 资 
源 供给 。 

综 上 所 述 ， 一 套 统 一 的 云 计算 架构 是 完全 可 以 同时 覆盖 于 公有 云 和 
私有 云 应 用 场景 的 。 


2.1.1 云 计 算 核心 架构 上 下 文 


云 计算 架构 应 用 上 下 文 的 相关 角色 包括 云 租 户 /服务 消费 者 、 云 应 用 
开发 者 、 云 服务 运营 者 /提供 者 、 云 设备 提供 者 ( 见 图 2-1) 。 


云 租户 / 云 服务 消费 者 云 应 用 开发 者 


IF3 
云 计 算数 据 中 心 解决 方案 aN 


云 服务 运营 者 /提供 者 


IF4 


- 
本 云 设备 提供 者 


图 2-1 云 计算 系统 构架 上 下 文 
云 租户 / 云 服务 消费 者 


云 租 己 是 指 这 样 一 类 组 织 、 个 人 或 I 系统， 该 组 织 / 个 人 /IT 系 统 消 
费 由 云 计 算 平台 提供 业务 服务 (比如 请 求 使 用 云 资源 配额 ， 改 变 指 配给 
虚拟 机 的 CPU 处 理 能 力 ， 增 加 Web 网 站 的 并 发 处 理 能 力 等 ) 。 该 云 租 户 / 
云 服务 消费 者 可 能 会 因 其 与 云 业 务 的 交互 而 被 计 费 。 

云 租 己 也 可 被 看 做 是 一 个 云 租 尸 /服务 消费 者 组 织 的 授权 代表 。 比 如 
说 一 个 企业 使 用 了 云 计 算 业 务 ， 该 企业 整体 上 相对 云 业 务 运营 及 提供 者 
来 说 是 业务 消费 者 ， 但 在 该 业务 消费 者 内 可 能 存在 更 多 的 细 化 角色 ， 比 


如 使 得 业务 消费 得 以 实施 的 技术 人 员 ， 以 及 天 注 云 业务 消费 财务 方面 的 
商务 人 员 等 。 当 然 ， 在 更 为 简化 的 公有 云 场景 下 ， 这 些 云 业务 消费 者 的 
角色 关系 将 简化 归并 到 一 个 角色 。 

云 租 户 / 服 务 消费 者 在 自助 Portal 上 浏览 云 服 务 货架 上 的 服务 目录 ， 
进行 业务 的 初始 化 以 及 管理 相关 操作 。 

就 多 数 云 服 务 消费 者 而 言 ， 除 从 云 服 务 提供 者 那里 获取 到 的 IT 能 力 
之 外 ， 还 继续 拥有 其 传统 〈 非 云 计算 模式 ) IT 设施 ， 这 使 得 云 服务 与 其 
内 部 既 有 的 IT 基础 设施 进行 集成 整合 至 天 重要 ， 因 此 特别 需要 在 混合 云 
的 场景 下 引入 云 服务 集成 工具 ， 以 便 实 现 既 有 IT 设施 与 云 服务 之 间 的 无 
缝 集 成 、 能 力 调用 以 及 兼容 互通 。 


云 应 用 开发 者 


云 应 用 开发 者 负责 开发 和 创建 一 个 云 计算 增值 业务 应 用 ， 该 增值 业 
务 应 用 可 以 托管 在 云 平 台 运营 管理 者 环境 内 运行 ， 或 者 由 云 租户 (服务 
消费 者 ) 来 运行 。 上 典型 场景 下 云 应 用 开发 者 依托 于 云 平台 的 API 能 力 进 
行 增值 业务 的 开发 ， 但 也 可 能 会 调用 由 BSS 和 和 OSS 系统 负责 开放 的 云 管 
理 API 能 力 ( 云 应 用 开发 者 当然 也 可 能 选择 独立 构建 其 独立 于 云 平台 的 
增值 业务 应 用 系统 的 BSS/OSS 系 统 ， 而 不 调用 或 重用 底层 的 云 管 理 
APD)。 

云 业务 开发 者 全 程 负责 云 增 值 业务 的 设计 、 部 署 并 维护 运行 时 主体 
功能 及 其 相关 的 管理 功能 。 如 同 云 租 户 / 云 业务 消费 者 以 及 云 业 务 运营 提 
供 者 一 样 ， 云 业务 开发 者 也 可 以 是 一 个 组 织 或 者 个 人 ， 比 如 一 个 开发 云 
业务 的 ISV 开 发 商 是 一 个 云 业务 开发 者 ， 其 内 部 可 能 包含 了 上 百 个 担任 
不 同 细 分 技术 或 商业 角色 的 雇员 。 另 外 ， 负 责 云 业务 管理 的 运 维 管理 人 
员 与 负责 开发 云 业 务 的 开发 组 织 紧密 集成 也 是 一 种 常见 的 角色 组 织 模 式 


(比如 Google、Amazon、 百 度 等 自 营 加 自 研 的 Internet DevOps 服 务 
商 ) ， 这 是 提升 云 业 务 发 放 和 上 线 效率 的 一 种 行 之 有 效 的 措施 ， 因 为 此 
类 角色 合 一 的 模式 提供 了 更 短 的 问题 反馈 路 径 ， 使 得 云 业务 的 运营 效率 
有 了 进一步 实质 性 提升 。 

目前 云 计算 业务 开发 者 在 公有 云 及 私有 云 领 域 的 典型 应 用 包括 运营 
商 虚 拟 主机 出 租 与 托管 云 、 企 业内 部 IT 私有 云 或 专 有 云 、 昌 面 私有 云 、 
运营 商 昌 面 去 服务、 企业 网 络 存储 与 备份 云 、 视 频 媒 体 处 理 云 、IDC 
Web 托 管 及 CDN 云 以 及 大 数据 分 析 云 等 。 


云 服务 运营 者 /提供 者 


云 服务 运营 者 /提供 者 承担 着 向 云 租户 /服务 消费 者 提供 云 服 务 的 角 
色 ， 云 服务 运营 者 /提供 者 概念 的 定义 来 源 于 其 对 OSS/BSS 管 理子 系统 拥 
有 直接 的 或 者 虚拟 的 运营 权 。 同 时 作为 云 服 务 运 营 者 以 及 云 服务 消费 者 
的 个 体 ， 也 可 以 成 为 其 他 对 外 转 售 云 服务 提供 者 的 合作 伙伴 ， 消 费 其 云 
服务 ， 并 在 此 基础 上 加 入 增值 ， 并 将 增值 后 的 云 服 务 对 外 提供 。 当 然 ， 
云 服 务 运营 者 组 织 内 部 不 排除 有 云 业务 开发 者 的 可 能 性 ， 这 两 类 决策 既 
可 在 同一 组 织 内 共存 ， 也 可 相对 独立 进行 。 


云 设备 /物理 基础 设施 提供 者 


云 设 备 提供 者 提供 各 种 物理 设备 ， 包 括 服务 器 、 存 储 设备 、 网 络 设 
备 、 一 体 机 设备 ， 利 用 各 种 虚拟 化 平台 ， 构 筑 成 各 种 形式 的 云 服务 平 
台 ， 这 些 云 服 务 平台 可 能 是 某 个 地 点 的 超大 规模 数据 中 心 ， 也 可 能 是 
地 理 位 置 分 布 的 区 域 数据 中 心 组 成 的 分 布 式 云 数 据 中 心 。 


4 


云 设备 提供 者 可 能 是 云 服务 运营 者 /提供 者 ， 也 可 能 就 是 一 个 纯粹 的 
云 设备 提供 者 ， 他 将 云 设备 租用 给 云 服务 运营 者 /提供 者 。 

在 这 里 我 们 特别 强调 云 设 备 /物理 基础 设施 的 提供 者 必须 做 到 不 与 唯 
一 的 硬件 设备 广 家 唯一 绑 定 ， 即 在 云 计算 系统 平台 南 向 接口 上 所 谓 的 多 
厂家 硬件 的 异 构 能 力 。 


接口 说 明 


从 上 述 云 计算 的 基础 上 下 文 描述 ， 我 们 不 难看 出 这 是 一 层 介 于 上 面 
IT 应 用 层 、 中 间 件 层 以 及 传统 数据 中 心 管理 控制 层 与 下 面 数据 中 心 物 理 
基础 设施 层 之 间 的 一 层 软 件 。 从 宏观 的 数据 中 心 资 源 池 整合 的 视角 来 
看 ， 我 们 不 妨 称 之 为 云 操作 系统 (Cloud OS)。 

云 操作 系统 的 南 向 接口 IF4 向 下 屏 数 底层 千差万别 的 物理 基础 设施 
层 硬 件 的 厂家 差异 性 。 针 对 应 用 层 软 件 以 及 管理 软件 所 提出 的 基础 设施 
资源 诉求 ， 云 操作 系统 向 上 屏 珊 如 何在 一 个 超大 规模 的 逻辑 资源 池内 进 
行 调 度 协 同 的 细节 ， 并 在 北向 接口 IF1、IF2 和 IF3 为 上 层 软件 及 特定 租户 
提供 一 个 归 一 化 、 标 准 化 的 基础 设施 服务 (IaaS) API 服 务 接口 。 在 云 
操作 系统 面向 云 运营 和 管理 者 的 IF3 接 口 之 上 ， 除 了 面向 租户 (拥有 全 
局 云 资源 操作 权限 ) 的 基础 设施 资源 生命 周期 管理 API 之 外 ， 还 包括 一 
些 云 租户 API 无 法 覆盖 的 ， 面 向 基础 设施 资源 日 常 OAM 的 操作 运 维 管理 
API 接 口 。 

其 中 IFWIF2/IF3 接 口中 关于 云 租 户 感 知 的 基础 设施 资源 生命 周期 管 
理 API 的 典型 形态 为 Web RESTFUL 接 口 。IF4 接 口 为 业务 应 用 执行 平面 
的 x86 指 令 ， 以 及 基础 设施 硬件 特有 的 、 运 行 在 物理 主机 特定 类 型 OS 中 
的 管理 Agent， 或 者 基于 SSL 承 载 的 OS 命 令 行 的 管理 连接 。IF3 接 口中 的 


OAM API 则 往往 采用 传统 人 和 电信 和 网管 中 被 广泛 采用 的 Web 
RESTFUL、SNMP、CORB 人 A 等 接口 。 


2.1.2” 云 计算 平台 架构 


如 本 书 前 言 所 述 ， 开 架构 的 演讲 经 历 了 “ 合 ”、“ 分 ”“ 合 ”三 个 阶 
段 ， 如 图 2-2 所 示 。 


分 合 
多 应 用 共享 封闭 的 软 硬 件 系统 应 用 绑 定 服务 器 服务 器/ 存储 /网 络 聚合 而 成 的 “ 云 计算 机 
AI 
| Re Wie | Appl App2 Appn 
os os 二 | 
一 Os1 0S2 | Osn Google、 Amazon、 
IBM/DEC/SUN IBM/HP/DELL/EMC/Cisco pm pam prey 0 风 的 阿里 巴巴 、 
到 四 
Nm tb 
1955 一 1980 年 1980 一 2010 年 2010 至 今 
大 型 机 /小 型 机 小 型 机 /服务 器 + 存储 + 交换 设备 云 基础 设施 资源 池 


图 2-2 IT 架构 演进 路 径 

回顾 企业 IT 架 构 演进 的 整个 历史 ， 我 们 不 难看 到 ， 冯 : 诺 依 曼 架 构 的 
第 一 台 计 算 机 诞生 以 来 的 前 30 年 ， 计 算 高 度 集中 化 、 支 持 多 用 户 多 任务 
的 大 型 机 和 小 型 机 是 企业 IT 的 主流 形态 ， 构 成 IT 系 统 的 软 硬 件 堆栈 各 层 
之 间 缺 少 统一 的 工业 标准 ， 呈 现 出 内 聚 与 耦合 的 特征 ， 仅 少数 广 家 拥有 
提供 疹 到 端 高 度 复 杂 化 的 IT 系统 软 硬 件 的 能 力 。 那 个 时 代 的 IT 系统 造价 
高 昂 ， 往 往 是 少数 高 端 企业 才能 拥有 的 “奢侈 品 ” 

于 是 ，20 世 纪 80 年 代 ， 以 x86 服 务 器 和 PC 系统 的 诞生 为 标志 ， 企 业 
IT 系 统 迎 来 了 第 二 次 里 程 碑 式 的 变革 : 从 Alln One、 全 封闭 的 软 硬 件 栈 
走向 水 平分 层 的 网 络 、 存 储 、 服 务 器 、 操 作 系 统 、 中 间 件 、 应 用 层 等 多 
层次 水 平分 工 的 架构 ， 各 层 之 间接 口 标准 化 、 规 范 化 ， 极 大 地 简化 了 每 
一 层 的 技术 复杂 度 ， 各 层 IT 产 业 链 获得 了 大 繁 采 与 大 发 展 ， 涌 现 出 一 批 
优秀 的 专业 化 三 家， 聚焦 于 提供 该 领域 内 质量 最 佳 的 产品 和 解决 方案 ， 
IT 系统 终于 开始 走 入 “寻常 百姓 家 ”。 


然而 ， 所 谓 “ 物 极 必 反 ”， 当 这 个 架构 分 层 发 展 到 一 定 阶段 ， 头 端 逐 
步 显现 。 由 于 企业 IT 的 层次 太 多 ， 各 层 之 间 集 成 交付 的 难度 越 来 越 大 ， 
尤其 是 当今 企业 软件 应 用 已 从 单一 实例 应 用 ， 迅 速 走向 大 规模 分 布 式 应 
用 ， 一 个 关键 业务 的 部 署 往往 需要 涉及 服务 器 、 网 络 、 存 储 等 各 方面 基 
础 设施 资源 的 协同 配合 ， 使 得 业务 驱动 的 基础 设施 层 服 务 器 、 人 存储 、 网 
络 资源 的 集成 管理 配置 和 按 需 供给 往往 成 为 影响 企业 IT 快 速 响应 企业 业 
务 需求 的 关键 制约 因素 。 同 时 软 人 硬件 各 层 的 开发 里 然 实 现 了 解 厅 ， 但 部 
署 和 运行 态 仍然 是 软 硬 件 厅 合 绑 定 的 关系 ， 因 此 跨 服务 器 的 资源 出 现 忙 
内 不 均 时 ， 依 旧 无 法 有 效 利 用 IT 资源 。 
随 着 企业 信息 化 进程 的 不 断 推进 ， 企 业 IT 系 统 的 使 用 者 和 维护 者 们 
逐渐 发 现 ， 分 层 染 构 体系 也 存在 着 诸多 蜂 闻 : 
” 软 硬 件 开发 态 解 春 ， 但 部 署 和 运行 态 并 未 解 看 ; 
”生态 链 大 繁 采 的 同时 ， 多 厂家 硬件 异 构 集成 与 管理 的 复杂 度 越 
来 越 高 

” 企业 信息 化 的 重心 向 软件 转移 ， 但 计算 、 存 储 、 网 络 硬件 弹性 
供给 能 力 及 其 相互 协同 的 不 足 ， 越 来 越 成 为 软件 价值 提升 的 制 
约 性 因素 。 

在 IT 架构 演进 的 第 三 阶段 ， 为 实现 云 计 算 梦 想 ， 首 先 需要 把 所 有 IT 
基础 设施 资源 都 高 度 集中 化 到 一 个 数据 中 心 去 ， 通 过 云 OS 整 合成 为 一 台 
超大 规模 计算 机 ， 然 后 再 按照 每 个 租户 的 需求 将 资源 动态 切 分 提供 给 每 
个 用 户 。 于 是 从 总 体 以 构 上 我 们 发 现 了 一 个 有 趣 的 现象 ， 我 们 的 IT 基础 
设施 架构 经 历 了 一 个 从 合 、 到 分 、 再 到 合 的 过 程 。 大 型 机 时 代 ， 很 多 应 
用 实例 跑 在 封闭 的 平台 之 上 ， 用 户 只 能 通过 哑 终 端 去 访问 集中 的 计算 资 
源 。 到 20 世 纪 80 年 代 ， 应 用 分 布 在 多 个 处 理 能 力 相 对 较 弱 的 处 理 单元 
上 。 进 入 当前 的 云 计算 年 代 ， 计 算 资 源 又 重新 回归 整合 ， 只 不 过 不 是 在 


闭 的 硬件 整合 ， 而 是 基于 松 耦 合 独立 节点 网 络 连 接 ， 以 及 统一 逻辑 调度 
管控 的 整合 。 

“天 下 大 势 ， 合 久 必 分 ， 分 久 必 合 ”"。IT 基 础 设施 架构 从 合并 、 分 离 
并 重新 走向 融合 ， 借 助 虚拟 化 及 分 布 式 云 计算 调度 管理 软件 ， 将 代 基 础 
设施 整合 成 为 一 个 规模 超大 的 “ 云 计算 机 *， 相 当 于 建成 了 一 座 “ 基 础 设施 
电厂 ”。 多 个 租户 可 以 从 这 座 电 厂 中 随时 随地 获取 到 其 所 需 的 资源 。 云 
计算 大 大 提升 了 业务 敏捷 度 ， 降 低 了 TCO 消 耗 ， 甚 至 提供 了 更 优 的 业务 
性 能 与 用 户 体 验 。 

然而 ， 历 史 总 是 在 螺旋 式 前 进 的 ,“ 云 计算 机 ”看 似 大 型 机 ， 但 绝 非 
简单 回 到 了 大 型 机 时 代 。 

” 区 别 1: 架构 不 同 ， 规 模 扩 展 能 力 不 同 

由 “垂直 扩展 ”到 “横向 扩展 ”: 计算 处 理 能 力 、 存 储 容量 、 网 络 吞 吐 
能 力 、 租 户 /应 用 实例 数量 均 相 差 n 个 数量 级 以 上 ， 从 硬件 成 本 视角 来 
看 ，TCO 成 本 也 较 低 。 

” 区 别 2: 硬件 依赖 性 不 同 ， 生 态 链 、 开 放 性 不 同 

由 “硬件 定义 ”到 “软件 定义 ”: 早期 的 系统， 少数 硬件 厂家 绑 定 OS 
和 软件 ，IT 只 是 少数 用 户 的 奢侈 品 。 在 新 的 时 代 ， 通 过 软件 屏蔽 异 构 硬 
件 差异 性 ， 在 同一 个 硬件 平台 上 可 以 运行 来 自 多 个 不 同 厂家 的 软件 和 
OS。 新 时 代 的 IT 生态 链 更 加 繁荣 ，IT 成 为 人 人 消 费 得 起 的 日 用 品 。 

” 区 别 3: 可 靠 性 保障 方式 不 同 

其 由 “单机 硬件 器 件 级 的 元 余 实 现 可 靠 性 ”发 展 到 “依赖 分 布 式 软件 和 
故障 处 理 自动 化 实现 可 靠 性 (甚至 支持 地 理 级 容 灾 ) 。 

” 区 别 4: 资源 接 入 方式 不 同 

将 IT 基础 设施 能 力 比 做 “电力 ”， 大 型 机 只 能 专线 接 入 ， 是 只 能 服务 
于 少数 人 群 的 “发 电机 ”， 基 于 企业 以 太 网 或 者 互联 网 的 开放 接 入 ， 可 以 
为 更 多 的 人 群 提供 服务 的 “发 电站 ”和 “ 配 电 网 ”。 


基于 上 述 分 析 ， 我 们 不 难得 出 如 图 2-3 所 示 的 云 计算 数据 中 心 架构 分 
层 概要 。 


私有 云 /混合 云 公有 云 / 云 服务 数据 中 心 管理 / 


中 间 件 服务 层 桌面 会 话 网 关 案 面 流 化 协议 大 数据 服务 
非 结构 化 / 半 结 构 化 数据 服务 流 数据 服务 结构 化 / 半 结 构 化 数据 服务 


数据 服务 层 No-SQL | | Hive | LHBase PG-SQL 
Map -Reduce HDFS CEP 引擎 类 SQL -API HANA 


资源 服务 与 
调度 层 


首 本 易 江 


图 2-3 云 计算 数据 中 心 解 决 方案 端 到 端 总 体 分 层 架构 
物理 资源 层 


所 有 支撑 IaaS 层 的 全 基础 设施 硬件 包括 服务 器 、 存 储 (传统 RAID 架 
构 垂直 扩展 的 Scale-up 存 储 ， 以 及 基于 服务 器 的 分 布 式 水 平 扩展 的 Scale- 
out 存 储 ) 、 数 据 中 心 交 换 机 〈 柜 项、 汇聚 以 及 核心 交换 ) 、 防 火 墙 、 
VPN 网 关 、 路 由 器 等 网 络 安全 设备 。 


虚拟 资源 层 


虚拟 资源 层 在 云 计 算 染 构 中 处 于 最 为 关键 与 核心 位 置 。 该 层次 与 
“资源 服务 与 调度 层 ” 一 道 ， 通 过 对 来 自 上 层 操 作 系统 及 应 用 程序 对 各 类 
数据 中 心 基础 设施 在 业务 执行 和 数据 平面 上 的 资源 访问 指令 进行 “ 截 
获 ”。 指 令 和 数据 被 截获 后 进行 “小 聚 大 ”的 分 布 式 资源 聚合 处 理 ,“ 大 分 


小 ”的 虚拟 化 隔离 处 理 ， 以 及 必要 异 构 资源 适 配 处 理 。 这 种 处 理 可 以 实 
ne di 将 分 散在 一 个 或 
多 个 数据 中 心 的 数据 中 心 基础 设施 资源 统一 虚拟 化 与 闻 化 。 

在 某 种 程度 上 ， 对 于 应 用 软件 的 支撑 关系 ， 虚拟 资源 层 对 于 上 层 虚 
拟 机 ( 含 操作 系统 及 应 用 程序 ， 的 作用 与 操作 系统 是 类 似 的 ， 实 质 上 都 
是 在 多 道 应 用 作业 实例 与 底层 的 物理 资源 设备 或 者 设备 集群 之 间 进 行 时 
分 和 空 分 的 调度 ， 从 而 让 每 道 作业 实例 都 “感觉 ”到 自 己 是 在 独占 相关 资 
源 ， 而 实际 上 资源 在 多 个 作业 实例 之 间 的 复杂 、 动 态 的 复 用 调度 机 制 完 
全 被 虚拟 资源 层 屏 贡 。 技 术 实 现 的 主要 困难 与 挑战 在 于 ， 操 作 系统 的 管 
理 API 是 应 用 程序 感知 的 ， 而 虚拟 资源 层 则 必须 做 到 上 层 操作 系统 与 应 
用 程序 的 “无 感知 "， 同 时 对 于 频繁 的 指令 级 陷入 和 仿真 调度 助力 ， 做 到 
令 上 层 应 用 及 OS 可 接受 的 性 能 开销 。 

虚拟 资源 层 包括 三 个 部 分 ， 具 体 如 下 。 


(1) 计算 虚拟 化 


所 有 计算 应 用 ( 含 OS) 并 非 直接 承载 在 硬件 平台 上 ， 而 是 在 上 层 软 
件 与 裸 机 硬件 之 间 插 入 一 层 弹 性 计算 资源 管理 及 虚拟 化 软件 : 弹性 计算 
资源 管理 软件 对 外 负责 提供 弹性 计算 资源 服务 管理 API， 对 内 负责 根据 
用 户 请 求 调度 分 配 具体 的 物理 机 资源 ， 虚拟 化 软件 (Hypervisor) 对 所 
有 的 x86 指 令 进行 截获 ， 并 执行 不 为 上 层 软 件 〈 含 oOS) 所 知 的 多 道 执行 
环境 并 行 的 “仿真 操作 ”， 使 得 从 每 个 上 层 软 件 实 例 的 视角 来 看 ， 其 仍然 
独占 底层 的 CPU、 内 存 以 及 LO 资源 〈 见 图 2-4) ; 而 从 虚拟 化 软件 的 视 
角 来 看 ， 则 是 将 裸 机 硬件 在 多 个 客户 机 (VM) 之 间 进 行 时 间 和 空间 维 
度 的 穿插 共享 (时 间 片 调度 ，IO 多 队列 模拟 等 ) 。 由 此 可 见 ， 计 算 虚 拟 
化 引擎 本 身 是 一 层 介 于 OS 与 硬件 平台 中 间 的 附加 软件 层 ， 因 此 将 不 可 避 


免 地 带 来 性 能 上 的 损耗 。 然 而 随 着 云 计 算 规模 商用 阶段 的 到 来 ， 以 及 计 
算 虚 拟 化 的 进一步 广泛 普及 应 用 ， 越 来 越 多 的 计算 性 能 敏感 型 和 事务 型 
的 应 用 逐步 从 物理 机 平台 迁移 到 虚拟 化 平台 之 上 ， 因 此 对 进一步 降低 计 
算 庶 拟 化 层 的 性 能 开销 提出 了 更 高 的 要 求 ， 典 型 的 增强 技术 包括 以 下 内 


容 
oO 


虚拟 化 环境 下 更 高 的 内 存 访 问 效率 : 应 用 感知 的 大 内 存 业 务 映 
射 反 术 ， 通 过 该 技术 ， 可 有 效 提升 从 虚拟 机 线性 逻辑 地 址 到 最 
终 物 理 地 址 的 映射 效率 。 

虚拟 化 环境 下 更 高 的 CPU 指令 执行 效率 : 通过 对 机 器 码 指令 执 
行 的 流程 进行 优化 扫描 ， 通 过 将 相 邻 执行 代码 段 中 的 “特权 ? 指 
令 所 触发 的 *VM_Exit" 虚 拟 化 仿真 操作 进行 基于 等 效 操 作 的 “ 合 
并 ”， 从 容 达 到 在 短 时 间 内 被 频繁 反复 地 执行 。 由 于 每 次 
VM_Exit 上 下 文 进 入 和 退出 的 过 程 都 需要 涉及 系统 运行 队列 调 
度 以 及 运行 环境 的 保存 和 恢复 ， 即 将 多 次 上 下 文 切换 合并 为 一 
次 切换 ， 从 而 达到 提升 运行 效率 的 目的 。 

虚拟 化 环境 下 更 高 的 VO 和 网 络 包 收发 处 理 效 率 : 多 个 虚拟 机 在 
一 个 物理 机 内 需要 共享 相同 的 物理 网 卡 进行 网 络 包 收发 处 理 ， 
从 而 有 效 减少 中 断 处 理 带 来 的 开销 ; 在 网 络 及 1/O 发 包 过 程 中 ， 
通过 将 小 尺寸 分 组 包 合并 为 更 大 尺寸 的 分 组 包 ， 可 以 减少 网 络 
收发 接受 端的 中 断 次 数 ， 从 而 达到 提升 虚拟 机 之 间 网 络 吞 吐 率 
的 目的 。 

更 高 的 RAS 可 靠 性 保障 : 针对 云 计算 所 面临 的 电信 和 领域 网 络 及 
业务 云 化 的 场景 ， 由 于 硬件 故障 被 虚拟 化 层 屏 散 了， 使 得 物理 
硬件 的 故障 无 法 像 在 传统 物理 机 运行 环境 那样 直接 被 传送 通知 
给 上 层 业 务 软 件 ， 从 而 导致 上 层 业 务 层 无 法 对 故障 做 出 秒 级 以 
内 的 及 时 响应 ， 比 如 业务 层 的 倒 换 控制 ， 从 而 降低 了 对 整体 的 


可 靠 性 水 平 。 如 何 感知 上 层 的 业务 要 求 ， 快 速 进行 故 障 检测 和 
故障 恢复 ， 保 证 业务 不 中 断 ， 这 给 计算 虚拟 化 带 来 了 新 的 挑 


仿 
计算 虚拟 化 Hypervisor 


图 2-4 计算 虚拟 化 硬件 接口 


(2) 存储 虚拟 化 


随 着 计算 虚拟 化 在 各 行业 数据 中 心 的 普遍 采用 ，x86 服 务 器 利用 效 
率 已 得 到 提升 ， 人 们 发 现 ， 存 储 资源 的 多 厂家 异 构 管理 复杂 ， 平 均 资源 
利用 效率 低下 ， 甚 至 在 IO 吞吐 性 能 方面 无 法 有 效 支 撑 企 业 关 键 事务 及 分 
析 应 用 对 存储 性 能 提出 的 挑战 ， 通 过 对 所 有 来 自 应 用 软件 层 的 存储 数据 
面 的 VO 读 瑟 操作 指令 进行 “截获 ”， 建 立 从 业务 应 用 视角 覆盖 不 同 厂家、 


不 同 版 本 的 异 构 硬件 资源 的 统一 的 API 接 口 ， 进 行 统一 的 信息 建 模 ， 使 
得 上 层 应 用 软件 可 以 采用 规范 一 致 的 、 与 底层 具体 硬件 内 部 实现 细节 解 
耦 的 方式 访问 底层 存储 资源 。 

除去 带 来 硬件 异 构 、 应 用 软件 与 硬件 平台 解 耦 的 价值 外 ， 其 还 可 以 

通过 “存储 虚拟 化 ” 层 内 对 多 个 对 等 的 分 布 式 资源 节点 的 聚合 ， 实 现 该 资 
源 的 “小 聚 大 ”。 上 比如， 将 多 个 存储 /硬盘 整合 成 为 一 个 容量 可 无 极 扩展 的 
超大 (EB 级 规模 ) 的 共享 存储 资源 池 。 由 此 可 以 看 到 ， 存 储 虚 拟 化 相对 
计算 虚拟 化 最 大 的 差别 在 于 : 其 主要 定位 是 进行 资源 的 “小 聚 大 ”， 而 非 
“大 分 小 ”。 原 因 在 于 ， 存 储 资源 的 “大 分 小 * 在 单机 和 SAN/NAS 独 立 存储 
系统 存储 ， 乃 至 在 文件 系统 中 通过 LUN 划 分 及 卷 配 置 已 经 天 然 实 现 了 ， 
然而 随 着 企业 IT 与 业务 数据 的 爆炸 式 增 长 ， 需 要 实现 高 度 扁平 化 、 归 一 
化 和 连续 空间 ， 跨 越 多 个 厂家 服务 器 及 存储 设备 的 数据 中 心 级 统一 存 
储 ， 即 “小 聚 大 ”。 存 储 * 小 聚 大 ”的 整合 正在 日 益 凸 显 出 其 不 可 替代 的 关 
键 价 值 〈 见 图 2-5) 。 

” 高 性 能 分 布 式 存储 引擎 : 伴随 着 云 计算 系统 支撑 的 开 系 统 越 来 
越 大 ， 和 覆盖 范围 从 不 同 服务 器 存储 节点 ， 到 分 布 在 不 同 地 理 区 
域 的 数据 中 心 ， 这 就 需要 有 一 个 分 布 式 存储 引擎 。 这 个 引擎 ， 
能 满足 高 带宽 、 高 IO 等 各 种 场景 要 求 ， 能 很 好 地 进行 带宽 的 扩 
展 。 

” 存储 异 构 能 力 : 如 何 利 日 ， 将 不 同 厂 家 原 有 的 独立 SAN、NAS 
设备 组 合成 一 个 大 的 存储 资源 地， 也 是 软件 定义 存储 中 需要 解 
决 的 问题 。 

” 存储 外 载 : 传统 的 企业 存储 系统 采用 各 种 各 样 的 存储 软件 ， 这 
些 软件 存储 操作 对 存储 MO 和 CPU 资源 均 有 较 大 消耗 ， 会 影响 用 
户 业 务 性 能 的 发 挥 。 因 此 如 何 将 存储 操作 标准 化 ， 然 后 将 存储 
操作 利用 某 些 标准 的 硬件 动作 去 代替， 这 就 是 存储 和 抒 载 。 
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图 2-5 ”存储 虚拟 化 硬件 接口 


(3) 网 络 虚拟 化 


站 在 操作 系统 角度 ，OS 管 理 的 资源 范畴 仅仅 是 一 台 服 务 器 ， 而 
Cloud OS 管理 的 资源 范畴 扩展 到 了 整个 数据 中 心 ， 甚 至 将 跨越 多 个 由 广 
域 网 物理 或 者 逻辑 专线 连接 起 来 的 数据 中 心 。 在 一 台 服 务 器 内 ， 核 心 
CPU、 内 存 计 算 单 元 与 周边 IO 单元 的 连接 一 般 通过 PCI 总 线 以 主 从 控制 
的 方式 来 完成 ， 多 数 管理 细节 被 Intel CPU 硬件 及 主板 厂家 的 总 线 驱动 所 
屏 丽 ， 且 PCIIO 设 备 的 数量 和 种 类 有 限 ， 因 此 OS 软 件 层 面 对 于 IO 设备 
的 管理 是 比较 简单 的 。 相 对 而 言 ， 在 一 个 具备 一 定 规模 的 数据 中 心 内 ， 
甚至 多 个 数据 中 心 ， 各 计算 、 存 储 单元 之 间 以 完全 点 对 点 的 方式 进行 松 
耦合 的 网 络 互联 。 云 数据 中 心 之 上 承载 的 业务 种 类 众多 ， 各 业务 类 型 对 
于 不 同 计算 单元 (物理 机 、 虚 拟 机 ) 之 间 ， 计 算 单 元 与 存储 单元 之 间 ， 


乃至 不 同安 全 层次 的 计算 单元 与 外 部 开放 互联 网 和 内 部 企业 网 络 之 间 的 
安全 隔离 及 防护 机 制 ， 要 求 动态 实现 不 同 云 租 尸 之 间 的 安全 隔离 。 云 数 
据 中 心 还 要 满足 不 同 终端 用 户 不 同 场景 的 业务 组 网 要 求 以 及 他 们 的 安全 
隔离 要 求 。 因 此 ， 云 操作 系统 的 复杂 性 将 随 着 云 租 己 及 租户 内 物理 机 和 
虚拟 机 实例 的 数量 增长 呈现 几何 级 数 的 增长 ， 由 业务 应 用 驱动 的 数据 中 
心 网 络 虚拟 化 和 自动 化 就 变 得 势 在 必 行 和 不 可 或 缺 。 为 了 实现 彻底 与 现 
有 物理 硬件 网 络 解 厅 的 网 络 虚拟 化 与 自动 化 ， 唯 一 的 途径 与 解决 方案 就 
是 SDN ( 即 所 谓 软件 定义 的 网 络 ) ， 即 构建 出 一 个 与 物理 网 络 完全 独立 
的 去 加 式 逻 辑 网 络 ， 其 主要 部 件 以 及 相关 技术 包括 以 下 几 个 方面 。 


SDN 控 制 器 : 这 是 软件 定义 网 络 的 集中 控制 模块 ， 负 责 云 系统 
中 网 络 资源 的 自动 发 现 和 池 化 ， 根 据 用 户 需 求 分 配 网 络 资源 ， 
控制 云 系统 中 网 络 资源 的 正常 运行 。 

虚拟 交换 机 : 根据 SDN 控 制 器 创建 出 虚拟 交换 机 实例 。 可 以 对 
这 个 虚拟 交换 机 进行 组 网 的 设计 、 参 数 的 设置 ， 一 如 对 物理 交 
换 机 的 使 用 。 

虚拟 路 由 器 : 根据 SDN 控 制 器 创建 出 虚拟 路 由 器 实例 。 可 以 对 
这 个 虚拟 路 由 器 进行 组 网 的 设计 、 参 数 的 设置 ， 一 如 对 物理 路 
由 器 的 使 用 。 

虚拟 业务 网 天 : 根据 用 户 业 务 的 申请 ， 由 SDN 控 制 器 创建 出 的 
虚拟 业务 网 关 实 例 ， 提 供 虚 拟 防 火 墙 的 功能 。 可 以 对 这 个 虚拟 
业务 网 关 进 行 组 网 的 设计 、 参 数 的 设置 ， 一 如 对 物理 业务 网 天 
的 使 用 。 

虚拟 网 络 建 模 : 面 对 如 此 复杂 多 变 的 组 网 ， 如 何 既 保证 网 络 的 
有 效 区 分 和 管理 ， 又 保证 交换 和 路 由 的 效率 ， 此 时 需要 一 个 有 
效 的 建 模 方法 和 评估 模型 ， 虚 拟 网 络 建 模 技术 能 提前 预知 一 个 
虚拟 网 络 的 运行 消耗 、 效 率 和 安全 性 。 虚 拟 网 络 建 模 可 以 做 成 


一 个 独立 功能 库 ， 在 需要 的 时 候 启 动 ， 以 减少 对 系统 资源 的 占 
用 。 


资源 服务 与 调度 层 


相对 虚拟 化 层 在 业务 执行 面 和 数据 面 上 “资源 聚合 与 分 割 仿真 ”， 该 

层次 主要 体现 为 管理 平面 上 的 “逻辑 资源 调度 "。 

由 于 多 个 三 家 已 经 投入 到 云 计算 的 研发 和 实施 中 ， 不 可 避免 地 有 多 
种 实现 方式 ; 而 要 实现 云 计算 真正 的 产业 化 并 被 广泛 使 用 ， 各 厂家 的 云 
计算 平台 必须 能 够 互相 交互 ， 即 进行 接口 标准 化 。 接 口 标准 化 后 ， 主 流 
的 虚拟 化 平台 (例如 HyperV、KVM、UVP、ESX 等 ) 之 间 能 够 互相 兼 
容 ， 各 个 硬件 厂家 或 者 中 间 件 厂家 可 以 自由 选择 虚拟 化 内 核 。 

在 云 计算 新 的 发 展 阶段 中 ， 面 向 公有 云 、 面 对 国际 化 公司 的 分 布 式 
云 系 统 将 是 重点 ， 这 将 引发 对 超大 资源 的 分 配 和 调度 。 在 整个 云 计 算 的 
实现 架构 上 ， 计 算 、 存 储 、 网 络 资 源 的 分 配 和 使 用 将 走向 专业 化 。 这 是 
因为 根据 性 质 的 不 同 ， 云 应 用 业务 对 计算 、 存 储 、 网 络 资源 的 需求 可 能 
是 不 一 样 的 ， 例 如 对 于 呼叫 中 心 业务 ， 其 偏向 于 计算 资源 使 用 ， 而 对 于 
网 盘 业 务 ， 则 偏向 于 存储 资源 使 用 。 在 这 种 情况 下 ， 为 了 更 有 效 地 利用 
资源 ， 给 业务 层 提供 基本 资源 调用 API 是 最 好 的 选择 ， 将 计算 、 存 储 、 
网 络 资源 作为 基本 资源 单位 ， 提 供 统一 的 资源 调用 接口 ， 让 云 业 务 开发 
者 自己 选择 如 何 高 效 地 使 用 这 些 资源 。 这 些 API 包 括 以 下 几 个 方面 。 

> 弹性 计算 资源 调用 API: 计算 资源 包括 CPU 和 内 存 ， 云 计算 平台 

根据 云 运营 商 的 要 求 ， 已 经 将 CPU 和 内 存 虚 拟 化 和 池 化 。 系 统 
0 申请 、 和 释放、 故障 检测 、 隔 离 和 自动 切换 功 
能 ， 做 到 业务 不 感知 。CPU 资 源 又 可 以 分 为 纯 计算 型 、 图 像 处 
ed 不 管 是 CPU 还 是 内 存 ， 都 提供 妆 分 配 功能 ， 


资源 的 自动 伸缩 保证 在 低 业 务 量 时 减少 资源 的 消耗 ， 高 业务 量 
时 开启 所 有 物理 资源 ， 确 认 业 务 的 高 效 运行 。 计 算 资源 API 还 
需要 提供 集群 能 力 。 

” 弹性 存储 资源 调用 API: 存储 资源 API 提 供 文件 或 者 卷 接 口 ， 除 
了 提供 常见 的 资产 申请 、 释 放 、 首 分 配 等 功能 外 ， 还 涉及 其 他 
几 个 关键 方面 。 


异 构 资 源 的 池 化 : 不 同 的 三 家 在 将 存储 资源 池 化 后 ， 提 供 统一 的 
API， 一 个 厂家 可 以 利用 这 些 API， 将 不 同 三 家 的 存储 资源 池 构 成 一 
个 大 的 资源 地， 然后 再 封装 出 API 供 业务 调用 。 

存储 资源 的 分 层 分 级 存储 : 因 业 务 性 能 要 求 的 不 同 ， 人 
个 常用 的 技术 ， 业 务 系统 在 申请 存储 资源 的 时 候 ， 可 以 选择 是 否 使 
用 这 个 特性 。 

内 存 存储 资源 的 支持 : 未 来 的 系统 ， 内 存 一 定 会 成 为 主 存 ， 所 有 的 
存储 ， 除 非 一 些 特别 重要 的 信息 ， 基 本 上 不 | 
质 ; 而 使 用 内 存 资源 作为 主 存 ， 可 靠 性 是 关键 要 求 ; 在 构造 内 存 存 
储 池 的 时 候 ， 可 靠 性 必须 贯彻 始终 ， 确 保 每 个 内 存 存储 有 备份 ， 或 
者 确保 内 存 存 储 有 可 靠 的 UPS 保 护 。 


> 弹性 网 络 资源 调用 API: 网 络 资源 API 的 基本 功能 包括 资源 的 申 
请 、 和 释放、 监控 、 故 障 隔离 和 恢复 等 ， 需 要 考虑 异 构 资源 的 统 
一 化 。 


数据 服务 层 


数据 服务 层 是 会 加 在 基础 设施 服务 之 上 的 ， 具 备 多 租户 感知 能 力 的 


结构 化 、 半 结构 化 及 非 结 构 化 数据 服务 能 力 。 


通过 对 弹性 资源 层 和 数据 服务 层 的 一 些 紧 密 接口 的 实现 ， 提 高 数据 
存储 的 效率 。 

” 结构 化 数据 服务 : 结构 化 数据 服务 子 层 提供 对 结构 化 数据 的 存 
储 和 处 理 功能 ， 它 通过 痉 加 各 种 结构 化 数据 库 软 件 来 实现 ， 例 
如 常见 的 Oracle\Sybase\HANA 等 。 为 提高 处 理 效率 ， 弹 性 存储 
资源 调度 层 会 针对 不 同 的 基于 磁盘 或 者 基于 内 存 的 数据 库 ， 提 
供 更 高 效 的 存储 资源 调用 API， 例 如 面向 HANA 内 存 数据 库 ， 
提供 内 存 专用 的 存储 资源 调用 API 接 口 。 

” 非 结构 化 数据 服务 : 这 个 子 层 主要 是 蕉 加 常见 的 No SQL 数据 库 
的 功能 模块 ， 例 如 Map-reduce、HBase 等 ， 提 供 弹 性 存储 资源 
的 特殊 接口 。 

” 流 数 据 服 务 : 流 数 据 服 务 更 多 地 涉及 对 特殊 CPU 资产 和 专用 心 
片 资源 的 使 用 ， 在 弹性 计算 资源 API 中 提供 一 些 专用 接口 ， 来 
进行 流 数据 的 高 效 输入 、 上 压缩 /解压 缩 、 处 理 和 转发 。 


云 管 理 层 


除 挥 上 面 各 子 系统 之 外 ， 云 管理 层 还 有 纵向 拉 通 云 平台 各 服务 层 及 
子 系统 的 云 管 理子 系统 ， 负 责 端 到 端 云 计 算 服务 实例 的 创建 友 放 ， 生 命 
周期 管理 ， 服 务 SLA 水 平 保障 ， 云 计算 数据 中 心 物理 及 虚拟 化 平台 基础 
设施 ， 以 及 平台 基础 设施 与 上 层 业 务 关 联 的 FCAPS 日 常 操作 与 维护 业 


务 。 


云 管理 与 传统 电信 的 OSS/BSS 系 统 的 最 大 差异 在 于 其 多 种 不 同 横向 
与 纵向 资源 整合 的 全 自动 化 、 智 能 化 的 支持 。 


中 间 件 服务 层 


为 提供 一 些 基 础 服务 ， 系 统 在 某 些 场景 下 还 需要 做 一 些 适 配 服务 ， 
例如 ， 提 供 抹 面 云 了 时， 需要 提供 桌面 云 相 关 的 应 用 协议 、 桌 面 应 用 的 调 
度 等 ， 面 向 不 同业 务 群 提供 大 数据 服务 时 ， 需 要 做 一 些 应 用 的 适 配 。 


构 的 


相对 于 云 计算 初级 阶段 以 探索 和 试用 为 特征 的 非 互 联网 领域 及 行业 
的 基础 设施 云 资 产 池 建设 ， 新 阶段 云 计算 基础 设施 云 化 已 步 入 大 规模 集 
中 化 建设 的 阶段 ， 需 要 云 操作 系统 (Cloud OS) 必须 具备 对 多 地 多 数据 
中 心 内 异 构 多 厂家 的 计算 、 存 储 以 及 网 络 资源 的 全 面 整 合 能 力 ， 因 此 有 
如 下 一 些 关 键 技 术 和 算法 。 


2.2.1 ”超大 规模 资源 调度 算法 


我 们 说 希望 能 像 用 水 用 电 一 样 的 方式 去 使 用 IT 资 源 ， 那 么 IT 资 源 的 
供给 就 需要 许多 类 似 于 大 大 小 小 的 水 三 /电厂 的 末 资 源 工厂 ， 这 就 是 我 们 
所 说 的 IT 数据 中 心 。 

以 水 广 为 例 ， 其 实 我 们 有 各 种 大 小 的 水 库 ， 有 时 候 为 了 供给 一 个 大 
城市 ， 我 们 会 通过 复杂 的 管道 ， 将 某 些 江河 或 某 些 水 库 引 入 城市 边 上 的 
大 水 库 。 融 是 说 ， 这 个 供水 系统 是 一 个 复杂 的 网 络 系统 ， 需 要 有 民 好 的 
预先 设计 。 

可 以 看 到 ， 尽 管 我 们 家 家 户 户 使 用 的 自来水 没有 什么 差别 ， 但 实际 
上 他 们 是 来 目 于 不 同 的 水 广 。 每 个 水 广 都 可 能 遇 到 自己 的 枯水期 ， 使 用 
这 些 水 广 水 资源 的 客户 可 能 面临 缺 水 的 问题 ， 融 是 说 ， 水 的 供应 并 不 是 
无 限制 的 。 对 应 地 ， 其 实 我 们 需要 的 IT 资产 也 并 不 是 无 限制 供给 的 ， 它 
是 由 后 面 大 大 小 小 的 IT 数据 中 心 的 能 力 决定 的 。 当 然 ， 为 了 应 对 一 些 大 
企业 的 IT 资源 要 求 ， 我 们 需要 将 异地 的 IT 数据 中 心 进 行 联网 设计 ， 组 成 


一 个 大 的 IT 资 源 闻 来 给 大 客户 使 用 ， 此 时 ， 这 个 大 资源 闻 的 组 成 技术 、 
调度 扩 术 都 是 关键 技术 ， 包 括 以 下 三 个 方面 。 


1. 计算 资源 调度 算法 

超大 规模 资源 调度 算法 实现 十 万 物理 机 、 百 万 虚拟 机 的 多 级 、 分 层 
调度 。 

在 一 个 分 布 式 的 数据 中 心情 况 下 ， 计 算 虚 拟 化 部 分 负责 L2~L5 调 
度 ， 以 虚拟 机 〈 含 oS 及 应 用 软件 /中 间 件 ) 为 基本 调度 单元 ， 完 成 指定 


虚拟 机 实例 或 者 虚拟 机 集群 到 整个 云 数 据 中 心计 算 资 源 闻 内 最 合适 的 物 
理 机 或 者 物理 机 集群 的 映射 〈 见 图 2-6) 。 


[wu] | vaj VM 集群 | | IMG 集 群 
Dcl Dc2 二 
集群 11 | | 集群 1i || 集群 21| | 集群 5j | | 集群 nl | | 集群 nk 


T3 | 路 物理 机 调度 | | 人 | | | | | [ 服务 器 | | De | [ bh | 


ea 


号 | 路 虚拟 机 调度 | | VM | | VM 区 IE [ww | VM | IMG | | VM | 


L1 | 跨 进程 JVM 调 度 (71 | mm | 


图 2-6 ”超大 规模 数据 中 心 调度 


初始 分 配 调 度 及 动态 规划 


典型 的 调度 算法 : 首次 匹配 、 负 和 载 均 衡 、 轮 转 指针 等 ， 可 统一 规划 
为 运筹 学 的 线性 规 划 NP 求 最 优 解 /次 优 解 的 问题 ， 约 束 条 件 及 目标 函数 
均 可 按 需 进行 策略 配置 。 


资源 弹性 分 配 的 问题 域 


资源 弹性 分 配 的 限定 条 件 有 下 面 6 个 表达 式 ， 如 图 2-7 所 示 。 


Vih en E {0,1} ynEQ (1) 
Vi yen=1 (2) 
Vi Oy Re， (3) 
Vi yw (4) 
Vh,i TVin(1-0;)teno)e1 (5) 
Vi YP+Y(1-$) (6) 


图 2-7 资源 弹性 分 配 

其 中 各 变量 的 含义 如 下 。 

i=1......N ， 表 示 服 务 请 求 数量 。 

h =1...…... 卫 ， 表 示 每 个 集群 中 同 质 物理 服务 器 的 数量 。 

j =1......d ， 表 示 每 个 服务 器 提供 的 资源 类 型 数量 (例如 CPU、 
RAM、 带 宽 等 ) 。 

Ri 表示 第 i 个 服务 请 求 对 资源 类 型 j 的 资源 需求 量 ， 这 个 值 在 0 和 1 之 
间 ， 表 示 资 源 的 满足 程度 。 

5i 表示 Ri 是 否 为 固定 资源 请 求 类 型 ， 取 值 0 或 者 1。 如 果 Ri 是 固定 
资源 请 求 (比如 每 个 用 户 邮箱 服务 固定 需要 内 存 10G) ， 则 5,=15i ; 如 


果 Rij 是 弹性 资源 请 求 《比如 每 个 用 户 邮 箱 服务 需要 的 内 存 可 以 在 0~~ 
10G 之 间 ) 》 则 5=0 5 =0o 


$， 表 示 服 务 i 的 最 小 产 出 要 求 ， 取 值 在 0 和 1 之 间 。 例 如 某 个 大 型 企 
业 需 要 从 云 中 获得 邮箱 服务 1 000 个 用 户 ， 并 且 客 户 要 求 无 论 如 何 ， 最 差 
的 情况 下 也 需要 保证 服务 200 个 用 户 ， 则 此 时 取 值 0.2。 

el 表示 资源 请 求 是 否 分 配 在 物理 服务 器 h 上 ， 取 值 0 或 者 1。 如 果 
是 ， 则 取 值 1; 否则 取 值 0。 

yih 表示 服务 i 在 服务 器 h 上 是 否 进行 Scale 方式 的 输出 。 如 果 服 务 i 不 
在 这 个 服务 器 上 ， 则 取 值 必须 是 0。 

各 个 限定 表达 式 的 含义 具体 如 下 。 

表达 式 (1) : 表示 服务 请 求 i 分 配 在 物理 服务 器 h 上 的 状态 ， 或 者 在 
或 者 不 在 。 

表达 式 (2) : 表示 无 论 某 个 服务 器 是 否 承 载 了 服务 请 求 i， 所 有 服 
务 器 上 满足 服务 请 求 i 的 总 和 肯定 等 于 1。 

表达 式 (3) : 表示 一 个 服务 i 可 以 在 某 个 服务 器 h 上 得 到 部 分 运行 资 
源 的 满足 ， 这 个 满足 程度 肯定 大 于 等 于 0， 如 果 大 于 0 而 小 于 1， 表 示 服 
务 器 需要 的 资源 是 分 配 在 多 个 服务 器 上 的 ， 此 服务 器 只 能 满足 部 分 资源 
需求 ;如 果 等 于 1， 表 示 此 服务 此 时 无 需 进行 Scale， 它 完全 能 在 h 服 务 器 
上 得 到 全 部 的 资源 满足 。 

表达 式 (4) : 表示 一 个 服务 在 相关 的 服务 器 上 能 取得 的 产 出 必须 
大 于 它 的 最 小 产 出 需求 。 例 如 客户 要 求 云 系统 满足 最 低 200 个 邮箱 用 户 
的 需求 ， 而 系统 中 有 10 万 台 服 务 器 ， 不 管 此 时 有 多 少 台 服务 器 给 这 个 企 
业 客户 提供 邮箱 服务 ， 都 必须 保证 200 个 邮箱 用 户 的 使 用 。 

表达 式 (5) : 表示 资源 类 型 j 在 服务 器 h 上 能 分 配 各 种 服务 使 用 的 最 
大 值 是 1。 


表达 式 (6) : 表示 最 小 的 服务 产 出 Y 不 会 大 于 任何 服务 的 产 出 。 
资源 弹性 分 配 的 近似 最 优 解 有 如 下 公式 : 


八 
五 -> 70-6)+O) 
Y =min l,m 
ie 1-9)r,( -65,) 
其 中 NZ 表示 不 等 于 0 的 物理 资源 集合 。 


整个 系统 的 求解 就 是 获得 Y 值 的 最 大 值 。 一 般 来 说 ， 我 们 可 以 采用 
如 下 的 条 件 来 获得 最 优 解 : 


ex=1/H and yy=z7($+Y(1-) 


2. 存储 资源 调度 算法 


存储 资源 的 调度 算法 主要 实现 以 下 几 点 〈 见 图 2-8) 。 


Server-l Server-N 
VM ，…。 VM 人 VM oe. VM 


| 
| 本 分 布 式 存储 
| PCIE 
| SCSI 可 SSDPool 
又 i 
DAS Pool 
医 YSCSI 
| SAN/NAS Pool 


Protocol Client 


NetApp EMC IBM HUAWELI EMC IBM 
IP-SAN NAS 
VMI 
> 
| 
1 
| 
E> 


SAN1 剩 余 的 80% 容 量 用 “SAN2 剩 余 的 10% 容 量 用 于 (SAN1+SAN2+…+SANn) 剩 余 的 50% 容 
于 VM1 卷 的 扩容 VM2、VM3、PM4 卷 的 扩容 量 可 用 于 任意 VM 和 PM 的 卷 的 动态 扩容 


图 2-8” 异 构 大 存储 池 

” 将 数据 中 心服 务 器 (机 架 式 服务 器 ) 直 连 存储 (HDD/SSD) 转 
换 为 高 性 能 、 低 时 延 的 共享 存储 资源 ， 大 幅 提 升 可 用 存储 空 
间 ， 实 现 无 SAN 化 的 计算 集群 的 虚拟 化 整合 ; 

” 为 每 VM/PM 提 供 更 大 的 “ 瘦 分 配 弹性 ”， 为 不 具备 “ 瘦 分 配 ” 能 力 
的 服务 器 内 置 DAS/SSD 以 及 外 置 SAN 带 来 天 然 瘦 分 配 能 力 ， 并 
解决 多 数 外 置 SAN 存 储 瘦 分 配 带 来 的 性 能 下 降 开销 问题 ; 

~ 更 大 规模 的 跨 SAN 资 源 池 ， 基 于 在 线 分 布 式 去 重 实现 更 大 范围 
en 除 (文件 级 /对 象 级 / 块 级 ) ， 将 资源 利用 

进一步 提升 40%，; 


” 更 大 规模 的 资源 地 ， 意 味 着 可 有 更 多 共享 空 内 资产 满足 计算 侧 
需求 ， 避 免 独 立 SANNAS 数 据 不 均衡 带 来 的 资源 浪费 


(30%) ; 
> 在 超大 资源 池 下 ， 将 “ 跨 SAN” 数 据 热 迁移 的 概率 几乎 降低 为 
雪 ; 


” 物理 机 无 Hypervisor， 需 要 引入 “存储 融合 ” 层 来 解决 数据 的 跨 
SAN 热 迁移 能 力 (存储 大 资源 池内 的 ) 。 


3. 能 耗 管理 最 优化 算法 


要 降低 PUE 值 ， 实 现 云 计算 绿色 节能 的 理念 ， 需 要 有 一 个 好 的 能 耗 
管理 算法 。 能 耗 管理 算法 在 云 计 算 中 是 一 个 关键 技术 ( 见 图 2-9) 。 


L2 虐 拟 机 能 耗 管理 调度 引擎 ( 医 LI&L2) 
| 计算 卉 所 化 子 系统 人 控制 指令 Pe 
让 执行 节能 自动 化 滑 度 加 
接口 | 全 略 执行 全 梧 次 多 复 | 
适 配 要 志 人 能 耗 信 
ee 能 笑 信 息 管理 息 旦 现 和 
云 管理 子 系统 数据 ,| 区 据 管理” 些 标 希 向 | 指标 配置 | 策略 本 和 
| | | 玫 据 管 到 名 本 本 和 
收集 | 量 标 收 斌 隐 标 统计 | 数据 显示 
LI 机房 设施 File 设备 = [1 和 L2 关 联 
机 房 生理 系统 全 
ee Ne No 


图 2-9 ”能 耗 管理 功能 模块 图 

~ 计算 部 分 是 数据 中 心 L1+L2 功 耗 的 主要 矛盾 和 关键 路 径 〈60% 人 ~ 
70%); 

” 数据 中 心 内 ， 基 于 “ 轻 载 合并 ”原则 进行 VM 热 迁移 调度 ， 使 得 更 
多 的 空 闪 服务 器 可 以 下 电 或 处 于 节能 运行 态 ; 

> 计算 虚拟 化 部 分 与 数据 中 心 L1 管 理 软 件 联动 ， 尽 量 减少 局 部 热 
点 ， 从 而 允许 L1 管 理 软件 控制 空调 提升 平均 工作 温度 ， 达 到 提 


升 PUE 效 率 的 目的 ; 

” 持续 动态 采集 当前 负载 情况 下 服务 器 、UPS 及 空调 、 制 冷 设备 
的 功 耗 及 温度 数据 ， 得 出 PUE 指 标 ， 并 在 管理 界面 上 实时 呈 
现 。 

处 理 过 程 具体 如 下 。 

(1) 输入 信息 

1) 物 理 机 信息 列表 

” 静态 规格 : CPU 主 频 和 数量 、 内 存 大 小 、 网 卡 速率 。 

” 负载 信息 : CPU 利用 率 、 内 存 利用 率 、 网 络 IO。 

” 状态 : 上 电 、 下 电 、 异 常 状态 。 

” 功率 信息 (可 选 ) : 额定 功 耗 、 当 前 功率 。 

” 温度 信息 (可 选 ) : 当前 CPU 温度 、 物 理 机 温度 。 

” 其 他 〈 可 选 ) : 物理 机 能 耗 效率 评级 、 离 冷风 送 风 口 距 离 或 评 
级 。 

2) 虚 拟 机 信息 列表 

> 静态 规格 : 虚拟 机 CPU (vCPU 数 量 和 主 频 ) 、 内 存 大 小 、 网 卡 
速率 。 

” 负载 信息 : CPU 占 用 、 内 存 占用 、 网 络 1/O。 

”~ 约束 信息 : 互 斥 性 约束 、 亲 和 性 约束 。 

” 物理 机 和 虚拟 机 的 关联 关系 。 

” 物理 机 对 应 的 VM ID 列 表 。 

3) 两 个 场景 

> 轻 载 时 ， 合 并 VM， 物 理 机 下 电 节 能 。 

” 重 载 时 ， 启 动物 理 机 ， 均 衡 VM， 保 证 QoS。 

4) 三 个 子 算法 

~ 轻 载 / 重 载 检测 算法 。 


~ 上 下 电 PM 选 择 子 算法 。 
” 负载 均衡 子 算法 。 

5) 算 法 设计 时 要 考虑 的 问题 
” 多 维 资源 问题 。 

” 迁移 成 本 -收益 分 析 。 

” 迁移 震 沪 问 题 。 

> What-if 测 试 。 

” 配 电 问题 。 

” 温度 问题 。 

” 调度 约束 。 

(2) 输出 信息 

其 主要 有 两 种 动作 ， 即 物理 机 上 下 电动 作 、VM 迁 移动 作 。 


2.2.2” 异 构 集成 技术 
1。 异 构 硬 件 简化 管理 集成 技术 


异 构 的 内 容 包 括 以 下 几 点 。 

~ Hypervisor 层 硬件 异 构 : 例如 同时 支持 UVP & KVM3| 擎 ， 广 泛 
兼容 其 他 厂家 x86 服 务 器 。 

>” 硬件 OM 管理 异 构 : 云 管理 抽象 出 与 设备 无 关 的 对 象 模型 
(CIM) ， 如 通过 适 配 包 采集 模型 中 需要 的 数据 ， 屏 严 不 同 硬 
件 之 间 差 异 。 适 配 包 独立 于 主干 版 本 发 布 ， 可 动态 加 载 到 系统 
中 以 满足 快速 适 配 新 硬件 的 能 力 。 

~ 虚拟 机 、 物 理 机 统一 建 模 : x86 服 务 器 虚拟 机 、 物 理 机 ， 以 及 
ARM 物 理 机 的 异 构 集群 管理 。 


异 构 实现 原理 如 图 2-10 所 示 。 

业务 运行 平面 上 上， 依托 从 Linux OS 衍生 出 来 的 XEN 与 KVM 虚 拟 化 引 
擎 ， 实 现 屏 下 人 硬件 差异 化 的 虚拟 硬件 仿真 ， 对 异 构 硬 件 特 有 的 MO 驱动 进 
行 版 本 化 验证 管理 。 

管理 平台 上 ， 在 云 管理 子 系统 中 采用 灵活 的 插件 机 制 对 各 类 异 构 硬 
件 通 过 有 代理 以 及 无 代理 模式 的 管理 ， 从 各 类 服务 器 硬件 管理 总 线 以 及 
操作 系统 内 的 Agent， 甚 至 异 构 硬 件 自 带 的 管理 系统 中 收集 ， 并 适 配 到 
统一 的 CIM 信 息 模型 中 来 。 
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图 2-10 ”硬件 异 构 兼容 原理 


2。 异 构 Hypervisor 简 化 管理 集成 技术 


针对 数据 中 心 场景 ， 企 业 开 系统 中 的 Hypervisor 选 择 往往 不 是 唯一 
的 ， 可 能 有 VMware 的 ESX 主 机 及 vSphere 集 群 ， 可 能 有 微软 的 Hyper-V 及 
SystemCenter 集 群 ， 也 可 能 有 从 开源 KVMVXEN 衍 生 的 Hypervisor (如 华 
为 UVP 等 ) ， 多 种 选择 并 存 。 此 时 云 操作 系统 是 否 有 能 力 对 这 些 异 构 
Hypervisor 加 以 统一 调度 管理 呢 ? 答案 是 肯定 的 。 可 以 依托 Openstack 开 
源 框架 ， 通 过 Plug-in 及 Driver 等 扩展 机 制 ， 将 业界 所 有 主流 的 Hypervisor 


主机 或 者 主机 集群 管理 接口 统一 适 配 到 OpenStack 的 信息 模型 中 来 ， 并 
提供 V2V/P2V 虚 拟 机 镜像 的 转换 工具 ， 在 异 构 Hypervisor 之 间 按 需 进行 
虚拟 机 镜像 转换 。 这 样 即使 不 同 的 Hypervisor 也 可 共存 于 同一 集群 ， 共 
享 相同 存储 及 网 络 服务 ， 甚 至 HA 服务 。 

资源 以 统一 集群 方式 管理 (OpenStack 目 标 ) ， 屏 珊 Hypervisor 差 
异 ， 简 化 云 计算 资源 管理 ( 见 图 2-11) 。 


OpenStack Nova+ API OpenStack Cinder + API OpenStack Quantum + API 
~ Nova API & Scheduler | Cinder API & Scheduler Quantum AP I& Scheduler 
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图 2-11 Hypervisor 异 构 统一 管理 原理 


3. 异 构 存储 管理 集成 的 统一 简化 技术 


异 构 存 储 管理 继承 的 统一 简化 技术 主要 包括 如 下 几 点 ( 见 图 2- 
12) .s 
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图 2-12 ”存储 异 构 统一 管理 原理 
10PB 级 存储 大 资源 闻 ， 跨 多 厂家 异 构 外 置 存储 ， 以 及 服务 器 自 
带 SSD/HDD 的 资源 闻 化 ， 将 存储 服务 抽象 为 同时 适用 于 虚拟 机 
和 物理 机 的 “统一 EBS” 服 务 ，; 
容量 、IOPS、MBPS 等 SLA/QoS 是 EBS 存 储 服务 界面 的 “统一 语 
言 "， 与 具体 支撑 该 服务 的 存储 形态 及 厂家 无 关 ，; 
可 按 需 将 部 分 存储 高 级 功能 (数据 元 余 保护 、 置 0 操作 、 内 部 
LUN 拷 贝 、 链 接 克 隆 等 ) 卸载 到 外 置 存 储 (类 VVOL) ; 
针对 DAS 和 存储 融合 ， 应 用 层 人 逻辑 卷 与 存储 LUN 之 间 采 用 DHT 分 
布 式 打 散 映射 ， 以 及 一 致 的 RAID 保 护 ; 
针对 SAN 存 储 融 合 ， 应 用 层 逻 辑 卷 与 存储 LUN 之 间 采 用 DHT 分 
布 式 打 散 映射 (新建 卷 ) ， 或 者 直接 映射 ( 利 旧 并 平滑 迁移 已 


有 卷 ) ， 数 据 可 靠 性 一 般 由 SAN 存 储 自身 负责 ; 
” 同一 应 用 Volume 的 直接 映射 卷 可 “逐步 ?平滑 迁移 到 DHT 了 映射 
卷 ， 实 现 业 务 中 断 。 


2.2.3 ”应 用 无 关 的 可 靠 性 保障 技术 
数据 中 心 内 的 可 靠 性 保障 技术 


数据 中 心 内 的 可 靠 性 保障 技术 主要 包括 HA (High Availability) 冷 
备份 、FT (Fault Tolerance) 热 备 份 、 轻 量 级 FT。 

HA (High Availability) 冷 备份 : 数据 中 心 内 基于 共享 存储 的 冷 迁 
移 ， 在 由 于 软件 或 硬件 原因 引发 主 用 VM/PM 故 障 的 情况 下 ， 触 发 应 用 在 
备用 服务 器 上 启动 ， 适 用 于 不 要 求 业 务 零 中 断 或 无 状态 应 用 的 可 靠 性 保 
障 ( 见 图 2-13) 。 
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图 2-13 ” 冷 备 份 原理 
FT 《Fault Tolerance) 热 备 份 : 指令 、 内 存 、 所 有 状态 数据 同步 。 
该 方式 的 优势 是 状态 完全 同步 ， 完 全 保证 一 致 性 ， 且 支持 SMP。 劣 势 是 
性 能 开销 大 ， 会 带 来 40% 左 右 的 性 能 降低 〈 见 图 2-14) 。 
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图 2-14” 热 备份 原理 
对 量 级 FT: 基于 IO 同步 的 FT 热 备 机 制 。 优 势 是 CPU/ 网 络 性 能 损耗 
10% 以 内 ， 支 持 单 核 和 多 核 。 劣 势 是 适合 于 网 络 IO 为 主 服务 的 场景 〈 见 
图 2-15) 。 
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图 2-15 ” 轻 量 级 FT 原理 
(1) 跨 数 据 中 心 的 可 靠 性 保障 技术 
跨 数 据 中 心 的 可 靠 性 保障 技术 ， 主 要 是 基于 存储 虚拟 化 层 1O 复 制 的 
同步 和 异步 容 灾 两 种 。 
基于 存储 虚拟 化 层 1WO 复 制 的 同步 容 灾 ， 采 用 生产 和 容 灾 中 心 同城 
(<100KM) 部 署 ， 时 延 小 于 5ms，DC 间 带宽 充裕 ， 并 且 对 RPO (恢复 


点 目标 ) 要 求 较 高 ， 一 般 RPO 接 近 或 者 等 于 0 秒 。 分 布 式 块 存 储 提供 更 
高 效 的 IO 同步 复制 效率 ( 见 图 2-16) 。 
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图 2-16 ”基于 应 用 层 的 容 灾 复制 原理 
基于 存储 虚拟 化 层 1O 复 制 的 异步 容 灾 采用 生产 和 容 灾 中 心 异 地 (大 
于 100KM) 部 署 ， 带 宽 受 限 ， 时 延 大 于 5ms， 同 时 对 RPO 有 一 定 的 容忍 
度 ， 如 RPO 大 于 5 分 钟 。IO 复 制 及 快照 对 性 能 的 影响 趋 近 于 零 ( 见 图 2- 
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图 2-17 基于 存储 层 的 容 灾 复制 原理 


IO 异步 复制 /快照 | | | | ea | | | 


2.2.4 单 VM 及 多 VM 的 弹性 伸缩 技术 


单 VM 及 多 VM 的 弹性 伸缩 技术 包括 基本 资源 部 件 级 别 、 虚 拟 机 级 
别 、 云 系统 级 别 三 个 层次 的 伸缩 技术 。 

基本 资源 部 件 级 别 : 精细 化 的 Hypervisor 资 源 调度 ， 对 指定 虚拟 机 
实例 的 CPU、 内 存 及 存储 规格 进行 弹性 伸缩 ， 并 可 对 伸缩 上 下 限 进行 配 
额 限制 。 

虚拟 机 级 别 : 指 虚 拟 机 集群 的 自动 扩展 与 收缩 ， 基 于 CloudWatch 机 
制 对 集群 资源 忙 闲 程度 的 监控 ， 对 业务 集群 进行 集群 伸缩 与 扩展 的 Auto- 
Scaling 控 制 。 

云 系统 级 别 : 在 内 部 私有 云 资源 不 足 的 情况 下 ， 自 动向 外 部 公有 云 
或 其 他 私有 云 (计算 及 存储 资源 池 )“ 租 借 ” 及 “释放 ”资源 。 

上 述 弹性 伸缩 机 制 ， 使 得 在 大 规模 共享 资源 闻 前 提 下 ， 流 控 及 因 流 
控 引 发 的 业务 损失 被 完全 规避 ( 见 图 2-18) 。 
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图 2-18 ”弹性 伸缩 


2.2.5 ”计算 近 端 1/O 性 能 加 速 技术 


原则 上 ， 针 对 在 线 处 理应 用 ，IO 加 速 应 发 生 在 最 靠近 计算 的 位 置 
上 ， 因 此 作为 提高 VO 性 能 的 分 布 式 Cache 应 该 运行 在 计算 侧 〈 见 图 2- 
19): 

远 端 Cache 的 IO 效率 ， 高 出 本 地 IOPS/MBPS 效 率 1 个 数量 级 ; 
> 通过 分 布 式 内 存 、SSD Cache， 实 现 对 内 部 和 外 部 HDD 硬 盘 介 
质 资源 的 IO 性 能 提升 2 一 3 倍 ; 
> NVDIMM/NVRAM 和 SSD Cache 保 证 在 全 局 掉 电 (或 多 于 2 个 节 
点 故障 情况 下 ) 情况 下 计算 近 端 的 写 Cache 数 据 无 丢失 ; 


> 分 布 式 Cache 可 提供 更 大 的 单 VM ( 单 应 用 ) 的 磁盘 并 发 
MBPS， 效 率 可 提升 3 一 5 倍 。 
服务 器 + 存储 
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图 2-19 ”存储 加 载 功能 


2.2.6 “网络 虚拟 化 技术 
1. 业务 应 用 驱动 的 边缘 虚拟 网 络 自动 化 


分 散在 交换 机 、 防 火 墙 、 路 由 器 的 L2 转 发 表 及 L3 路 由 表 集 中 到 SDN 
控制 器 ， 使 得 跨 多 节点 的 集中 拓扑 管控 及 快速 重 定义 成 为 可 能 。 基 于 
x86 的 软件 交换 机 和 VxLAN 隧 道 封 装 的 Overlay 琶 加 网 可 以 实现 业务 驱动 
且 与 物理 网 络 彻底 解 耦 的 逻辑 网 络 自动 化 ， 支 持 跨 数据 中 心 的 大 二 层 组 
网 。 基 于 业务 模板 驱动 网 络 自动 化 配置 ， 如 图 2-20 所 示 。 
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图 2-20 ”网 络 功能 虚拟 化 层次 架构 


2. 更 强大 、 更 灵活 的 网 络 安全 智能 策略 


在 云 计 算 早 期 阶段 ， 一 般 采 用 下 面 的 方法 进行 网 络 安全 的 部 署 ， 但 
存在 一 些 不 足 。 
”~ 公有 云 、 多 租户 共享 子 网 场景 下 ， 静 态 配置 安全 组 规则 仅 在 目 
的 端 进行 过 滤 ， 无 法 规避 DOS 攻 击 〈 见 图 2-21) 。 


虚拟 机 虚拟 机 
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图 2-21 ”虚拟 机 网 络 安 全 原理 


> 采用 外 置 防火 墙 方法 控制 子 网 间 安 全 ， 但 存在 流量 迁 回 〈 见 图 
2-72) » 


子 网 2 


图 2-22 采用 外 置 防火 墙 方法 控制 子 网 间 安 全 


为 解决 云 计算 早期 阶段 技术 安全 隐患 ， 新 阶段 云 计算 架构 通过 软件 
定义 网 络 的 实施 ， 解 决 这 些 问 题 ( 见 图 2-23) : 
” 按 业 务 需 求 统 一 定义 任意 目标 一 一 产 组 合 的 安全 策略 定义 下 发 


到 Controller ; 
人 子 网 内 互 访 ， 首 包 上 送 Controller， 动态 下 发 安全 过 滤 规则 ， 产 
头 扼杀 攻击 ; 


子 网 间 互 访 ， 动态 下 发 快 转 流 表 ， 避免 迁 于 回 ]。 
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图 2-23 ”通过 软件 定义 网 络 的 实施 解决 问题 
2.2.7 ”应 用 管理 自动 化 技术 


对 于 目标 架构 的 基础 设施 层 的 管理 功能 定位 ， 仅 仅 做 好 物理 和 虚拟 
机 资源 的 调度 是 远 远 不 够 的 ， 其 应 当 涵 盖 独 立 于 具体 业务 应 用 人 逻辑 的 普 
遍 适 用 的 弹性 基础 设施 之 上 的 应 用 的 全 生命 周期 管理 功能 ， 冻 盖 从 应 用 
模板 、 应 用 资源 部 署 、 配 置 变更 、 业 务 应 用 上 线 运 行 之 后 基于 应 用 资源 


占用 监控 的 动态 弹性 伸缩 、 故 障 目 合 以 及 应 用 销毁 的 功能 。 整 个 应 用 的 
生命 周期 管理 应 遵循 如 图 2-24 所 示 的 流程 。 


1. 模 板 设 计 


7. 应 用 销毁 2. 应 用 部 署 ] 


:配置 变更 | 


5. 故障 定位 4. 应 用 监控 


图 2-24 ”全 生命 周期 管理 流程 
各 部 分 主要 实现 如 下 内 容 。 
(1) 图 形 化 的 应 用 模板 设计 方式 : 采用 基于 图 形 的 可 艇 套 式 重用 
模板 ; 采用 拖 搜 和 粘贴 拷贝 的 方式 来 定义 分 布 式 应 用 模板 ; 使 得 模板 设 
计 简 单 高 效 〈 见 图 2-25、 图 2-26) 。 
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图 2-25 图形 化 的 应 用 模板 
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图 2-26 ”图形 化 的 应 用 模板 设计 
(2) 提前 准备 的 丰富 模板 库 和 自动 部 署 : 为 物理 机 、 容 灾 、 
En 当 有 应 用 需求 时 ， 系 统 直接 从 模 
板 库 中 选取 相应 的 模板 进行 自动 部 署 〈 见 图 2-27) 。 
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图 2-27 ”从 模板 库 中 选取 相应 的 模板 

(3) 基于 SLA 的 应 用 监控 : 面向 不 同 的 应 用 (数据 库 、HPC、 基 于 
LAMP 的 Web 网 站 等 ) ， 定 义 不 同 的 SLA 指 标 集 ， 对 这 些 指标 进行 监 
控 ， 采 用 静态 阅 值 和 动态 基线 相 结 合 的 方法 进行 故障 告警 和 性 能 预警 ， 
使 应 用 监控 更 自动 化 和 精细 化 ， 满 足 客户 业务 运行 的 要 求 。 

(4) 基于 工作 流 的 应 用 故障 自 愈 : 采用 基于 工作 流 的 管理 方式 ， 
通过 对 应 的 设计 工具 来 设计 用 户 自 定义 事件 ， 当 监控 到 应 用 故障 、 事 件 
触发 和 工作 流 引 擎 的 运转 时 ， 系 统 支持 应 用 的 自动 修复 ， 达 到 故障 自 愈 
的 目的 。 


2.3 云 j 心 架 构 的 竞 量 和 


从 将 云 计 算 技 术 引 入 传统 数据 中 心 所 带 来 的 独特 商业 价值 角度 看 ， 
重点 可 以 从 开源 与 节 流 两 个 方面 来 衡量 云 计算 的 核心 竞争 力 。 


节 流 (Cost Saving) 方面 


在 业务 系统 搭建 过 程 中 ， 云 计算 和 虚拟 化 使 得 企业 及 运营 商 的 烟 移 
式 软 件 应 用 可 以 突破 应 用 边界 的 束缚 ， 充 分 共享 企业 范围 内 、 行 业 泥 围 
内 甚至 全 球 范 围 内 公用 的 “IT 资产 地 ”， 无 需 采 购 和 安装 实际 物理 形态 的 
服务 器 、 交 换 机 以 及 存储 硬件 ， 而 是 依赖 于 向 集中 的 IT 资源 闻 ” 动 态 申 
请 所 需 的 虚拟 I 资源 (或 资源 集合 ) ， 就 可 以 完成 相关 应 用 的 自动 化 安 
装 部 署 ， 从 而 达到 快速 搭建 支撑 自身 核心 业务 的 IT 系 统 与 基础 平台 的 目 
的 。 这 种 模式 可 以 减少 系统 搭建 的 人 力 和 资源 投入 ， 降 低 系统 初始 构筑 
成 本 。 

在 业务 应 用 执行 过 程 中 ， 依 托 节能 减 排 及 资源 利用 率 最 大 化 原则 ， 
实现 必要 的 智能 资源 动态 调度 ， 以 完成 既定 的 业务 处 理 或 计算 任务 ， 并 
在 特性 业务 处 理 或 计算 任务 完成 后 即时 地 释放 相关 IT 资 源 供 其 他 企业 、 
行业 进一步 动态 共享 ， 从 而 实现 全 建 设 与 运 维 成 本 的 大 幅度 优化 与 降 
低 。 

另外 ， 针 对 涉及 海量 数据 处 理 及 科学 计算 的 特殊 行业 ， 以 往 依托 于 
造价 昂贵 小 型 机 、 大 型 机 甚至 巨型 机 、 高 端 存 储 阵 列 ， 或 者 采用 通用 处 
理 设备 需要 数 月 甚至 数 年 才能 完成 的 复杂 计算 与 分 析 任 务 ， 有 可 能 在 云 
计算 数据 中 心 基于 通用 服务 器 集群 ， 以 更 为 低廉 的 成 本 并 花费 更 短 的 时 
间 就 可 以 轻松 应 对 。 


开源 (Revenue Generation) 方面 


~ 针对 公有 云 数 据 中 心 运营 商 的 价值 ;将 SaaS 等 早 在 云 计 算 概念 
出 现 就 已 普及 的 资源 服务 的 概念 进一步 扩展 到 IaaS 与 PaaS 层 ， 
云 计 算数 据 中 心 运营 商 可 以 在 IaaS/PaaS 上 建设 自 营 增 值 业务 服 
务 于 云 用 户 ， 也 可 引入 众多 第 三 方 应 用 运行 在 IaaS/PaaS 云 平台 


之 上 ， 实 现 相 比 传统 数据 中 心 托管 服务 具备 更 高 附加 值 的 虚拟 
机 、 虚 拟 桌面 及 虚拟 数据 中 心 租赁 业务 ， 或 者 在 第 三 方 应 用 开 
发 /提供 商 、 云 运营 商 (IaaS/PaaS 云 平台 提供 者 ) 以 及 云 租户 / 
云 用 户 之 间 分 享 丰富 的 SaaS 应 用 以 带 来 的 增值 利润 。 
> 针对 企业 私有 云 数 据 中 心 建设 的 价值 : 云 计算 使 得 IT 基 础 架构 
可 以 对 与 企业 、 行 业 业 务 紧 密 绑 定 的 业务 软件 形成 更 为 高 效 和 
敏捷 的 集成 融合 ， 从 而 大 大 提升 企业 IT 资源 灵活 适应 并 支撑 企 
业 核 心 业 务 流程 与 业务 模式 快速 变化 的 能 力 ， 有 效 地 优化 企业 
业务 的 运作 效率 。 
>” 云 计 算 的 海量 数据 分 析 与 挖掘 能 力 的 价值 : 使 得 企业 、 行 业 有 
能 力 依托 其 海量 存储 及 并 行 分 析 与 处 理 框 架 的 能 力 ， 从 其 企业 
IT 系统 所 产生 的 海量 的 历史 数据 中 提炼 并 茎 取出 对 其 有 价值 的 
独特 信息 与 价值 ， 从 而 为 其 市 场 及 业务 战略 的 及 时 优化 调整 提 
供 智能 化 决策 引擎 ， 从 而 有 效 提升 企业 的 竞争 力 。 
基于 以 上 云 计算 数据 中 心 解决 方案 商业 价值 ， 可 以 从 下 面 六 大 架构 
质量 属性 指标 来 衡量 云 计算 数据 中 心 解 决 方案 的 竞争 力 〈 见 图 2-28) 。 
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图 2-28 云 计 算 架 构 核 心 竞争 力 
2.3.1 ” 低 TCO 


低 TCO 能 力 的 构建 包括 降低 和 优化 云 计算 数据 中 心 的 设备 投资 成 
本 ， 以 及 运 维 成 本 两 个 方面 。 
设备 投资 成 本 的 优化 与 节能 主要 考虑 的 架构 策略 涉及 如 下 策略 。 


计算 资源 的 成 本 优化 与 节省 


站 在 整体 数据 中 心 资源 集群 成 本 的 视角 ， 针 对 由 以 太 交 换 网 连接 起 
来 的 计算 密集 型 服务 器 构成 的 计算 集群 ， 云 计算 资源 集群 初始 调度 分 配 
以 及 运行 态 动态 算法 的 优势 ， 决 定 了 通过 资源 占用 的 削 峰 错 谷 可 以 带 来 
的 资源 利用 率 提 升 ， 以 及 相应 的 成 本 下 降 比 例 。 

除 调 度 算 法 之 外 ， 支 撑 更 大 规模 的 集群 是 实现 计算 资源 CAPEX 成 本 
最 优化 的 有 效 手 段 ， 云 计算 的 云 资 源 调度 软件 通过 支持 大 甚至 是 超大 规 
模 的 HA 集群 (例如 : 总 集群 服务 器 容量 达到 128 服 务 器 /集群 ) ， 实 现 对 
ee 从 而 降低 资源 碎片 概 

， 提 升 资 源 利 用 率 

考虑 将 成 本 颗粒 度 从 服务 器 集群 细 化 层面 向 下 细 化 到 单 服务 器 层 
面 ， 虚 拟 机 VMM35| 擎 在 一 个 服务 器 范围 内 的 CPU 及 内 存 资源 调度 能 否 
实现 跨 虚 拟 机 的 充分 动态 共享 ， 则 决定 了 服务 器 颗粒 度 内 的 多 虚拟 机 资 
源 利用 率 的 高 低 ， 以 及 对 应 的 成 本 竞争 力 。 虚 拟 化 引擎 通过 支持 实时 应 
用 调度 优化 、 小 包 数 据 中 断 调度 优化 ， 以 及 内 存 气 泡 、 内 存 交 换 与 共享 
等 优化 措施 来 提高 服务 器 级 资源 利用 率 


存储 资源 的 成 本 优化 与 节省 


在 普通 云 计算 数据 中 心 环境 下 ， 存 储 容量 一 般 均 在 几 十 TB 以 上 ， 在 
满足 相同 容量 及 IOPS 存 储 吞 吐 能 力 需 求 的 基础 之 上 ， 需 从 成 本 角度 出 发 
做 出 权衡 抉择 ， 即 采用 基于 集中 RAID 控 制 器 带 一 系列 存储 磁盘 的 垂直 
扩展 (Scale-up) 模式 ， 还 是 采用 基于 全 分 布 式 及 普通 服务 器 附带 硬盘 
存储 的 水 平 扩展 (Scale-out) 模 式 。 通 过 引入 全 分 布 式 存储 ， 有 望 通过 差 
异化 架构 规避 RAID 双 控制 机 头 随 存储 容量 与 处 理 能 力 的 上 升 所 带 来 的 
成 本 指数 级 增长 的 矛盾 ， 从 而 实现 云 存 储 成 本 的 大 幅 降低 及 性 价 比 的 提 
升 。 


网 络 资源 的 成 本 优化 与 节省 


在 可 能 的 情况 下 ， 考 虑 取消 独立 硬件 形态 的 汇聚 网 络 交 换 机 及 防火 
墙 网 关 设 备 ， 在 通用 x86 平 台 上 支持 Load Balancer、 防 火 墙 等 设备 ， 从 而 
有 效 降低 网 络 资源 的 成 本 占用 。 由 于 部 分 云 计算 虚拟 网 络 特性 (如 
ACL， 安 全 组 等 ) 可 能 大 量 消耗 CPU 资源 ， 需 要 考虑 将 相关 功能 卸载 到 
智能 网 卡 上 。 


维护 成 本 的 优化 与 节省 


为 实现 数据 中 心 大 规模 计算 、 存 储 集群 依据 多 层 网 络 交换 设备 的 维 
护 成 本 最 优化 ， 要 求 云 管理 OSS 支 持 最 大 限度 的 智能 化 管理 ， 实 现 系统 
在 故障 状态 下 对 DC 内 部 服务 器 、 网 络 及 存储 资源 垂直 整合 的 融合 架 
构 ， 一 站 式 交 付 将 大 大 降低 硬件 安装 维护 复杂 度 。 


节能 减 排 等 生命 周期 维护 成 本 的 节省 


为 达到 数据 中 心 整个 运行 服务 周期 中 节能 减 排 效率 的 不 断 提 升 ， 包 
括 在 完成 相同 工作 负 葵 的 前 提 下 更 为 有 效 地 降低 服务 器 、 和 存储 及 交换 设 
备 目 身 的 耗 电 量 ， 可 采用 以 下 几 项 关键 措施 : 


~ 


在 云 管理 层面 引入 更 为 优秀 的 资源 调度 算法 ， 通 过 热 迁移 机 制 
实现 将 轻 载 应 用 尽量 合并 到 数量 更 少 的 服务 器 上 ， 其 他 服务 器 
则 直接 下 电 ， 从 而 提升 整体 资源 利用 率 ; 

在 服务 器 颗粒 度 内 ， 引 入 多 级 节能 控制 机 制 ， 在 轻 工 作 负载 时 
自动 调整 CPU 工作 于 节能 状态 ; 

在 硬件 选 型 方面 尽 可 能 选择 低 功 耗 CPU 以 及 器 件 、 组 件 以 构筑 
低 成 本 优势 ， 不 断 改善 服务 器 单 板 散 热 布 局 ; 

引入 分 布 式 电池 或 者 电容 ， 减 少 由 于 UPS 在 空 载 或 轻 载 情况 下 
的 电源 效率 损失 ; 

在 数据 中 心 基 础 设施 层 引 入 更 为 智能 的 热管 理 软件 及 监测 手 
段 ， 并 实现 充分 的 冷 热 风 道 隔离 ， 以 及 热 耗 散 的 自动 补偿 ， 甚 
至 通过 直接 拉 通 来 实现 整体 PUE 效 率 最 佳 。 


2.3.2 ”弹性 伸缩 


弹性 伸缩 要 求 以 相同 架构 ， 支 撑 从 最 少 几 个 计算 与 存储 节点 ， 到 最 
大 10 万 甚至 是 100 万 级 的 计算 与 存储 节点 集群 规模 ， 且 保证 数据 中 心 容 
量 扩展 过 程 中 的 业务 连续 性 及 业务 服务 不 中 断 ， 或 中 断 时 延 最 短 。 

这 里 的 弹性 伸缩 扩展 能 力 应 该 体现 在 : 


要 


La 


La 


” 


管理 节点 的 弹性 伸缩 能 

数据 中 心 资源 的 弹性 伸缩 能 力 ，; 

所 承载 云 得 户 业 务 的 计算 集群 弹性 伸缩 能 

承载 用 户 数据 信息 及 系统 卷 镜 像 的 存储 集群 的 弹性 伸缩 能 


” 连接 计算 与 存储 集群 资源 的 网 络 弹性 伸缩 能 力 。 
为 了 支持 该 能 力 ， 数 据 中 心 交换 枢纽 需要 支持 大 二 层 虚 拟 化 网 络 ， 
采用 CLOS 无 阻塞 以 太 网 连接 模型 ， 存 储 资 源 需 要 支持 全 分 布 式 存储 架 
构 ; 计算 资源 需要 支持 大 集群 规模 ; 管理 节点 需要 支持 基于 共享 存储 、 
无 状态 机 制 实现 的 可 无 级 扩展 的 管理 能 力 。 这 些 要 求 是 支撑 该 强 弹性 伸 
缩 能 力 的 根本 保障 。 


2.3.3 ”高 性 能 


整体 云 计 算 的 性 能 ， 重 点 体现 在 以 下 几 个 维度 。 


La 


虚拟 化 云 平 台 上 运行 普通 颗粒 度 托 管 应 用 场景 : IO 吞吐 性 能 
CPU 调度 效率 等 相 比 同等 处 理 能 力 物理 机 平台 的 下 降 比 例 越 
小 ， 性 能 竞争 力 越 强 。 

并 发 云 平台 上 运行 超大 规模 数据 分 析 与 应 用 处 理 场 景 : 完成 既 
定 任务 所 耗费 的 时 间 越 少 ， 或 计算 、 存 储 资源 越 少 ， 性 能 竞争 
力 越 强 。 

频繁 数据 库 操 作 或 媒体 类 存储 信息 的 应 用 场景 : 云 存 储 的 IOPS 
否 吐 率 最 大 ， 可 共享 的 存储 容量 越 大 ， 性 能 竞争 力 越 强 。 

云 计算 数据 中 心 内 依赖 于 网 络 总 线 的 分 布 式 B/S、C/S 应 用 (如 
网 站 ) 场景 : 网 络 时 延 越 短 ， 性 能 竞争 力 越 强 。 

批量 虚拟 机 发 放 、 虚 拟 机 系统 加 载 等 涉及 大 流量 、 大 尺寸 数据 
流 及 文件 处 理 的 场景 : 需要 通过 包括 P2P 加 载 、 链 接 克 隆 等 有 
效 架 构 手段 加 以 优化 ， 或 通过 Cache 机 制 减少 跨 节 点 性 能 压 
力 。 其 依托 弹性 计算 及 分 布 式 存 储 与 中 间 件 的 并 行 数据 分 析 引 
擎 ， 支 持 批 处 理 及 流 式 海 量 数据 分 析 与 挖 据 ， 从 而 提升 性 能 。 


2.3.4 ”领先 的 用 户 体 验 


以 泉 面 云 应 用 场景 为 例 ， 通 过 局 域 网 络 或 者 远程 网 络 连 接 的 桌面 业 
务 体验 ， 包 括 基础 朱 面 应 用 操作 、 音 视频 播放 、VoIP、 高 清 视 频 以 及 3D 
加 速 图 形 处 理 密 集 型 应 用 ， 达 到 与 本 地 果 面 体验 持平 ， 并 在 时 延 、 持 
动 、 带 宽 占 用 等 方面 有 优势 ， 这 决定 了 直接 面向 企业 及 个 人 家 庭 最 终 用 
户 的 云 业 务 的 质量 保障 的 评价 。 


2.3.5 ”高 安全 


安全 性 无 疑 是 云 计 算 技 术 在 数据 中 心 建设 部 署 与 扩容 中 被 采纳 的 首 
要 障碍 性 因素 ， 尤 其 是 公有 云 场景 ， 该 方面 的 问题 更 为 突出 ， 因 而 其 也 
是 架构 竞争 力 衡 量 的 关键 纬度 。 对 安全 质量 属性 的 需求 实际 上 贯穿 于 云 
计算 架构 的 自 低 向 上 的 各 个 层面 ， 包 括 : 
”~ 物理 层 的 数据 中 心安 全 防护 ， 实 现 硬件 层 与 软件 层 关联 可 信 度 
管理 的 TPM 机 制 |; 
”~ 虚拟 化 层 公共 的 事件 检测 、 防 病毒 及 安全 管理 机 制 |; 
” 操作 系统 安全 加 固 ， 去 除 无 用 服务 及 安全 隐患 ; 
~ 面向 云 租户 / 云 用 户 的 云 资 源 管理 接 入 认证 与 加 密 管理 
” 面向 云 资源 管理 维护 者 的 分 权 分 域 及 认证 鉴 权 管 理 ， 以 及 面向 
虚拟 私有 云 的 分 级 资源 管理 授权 能 
”~ 面向 云 租户 / 云 用 户 的 数据 传输 加 密 、 解密 及 网 络 层 安 全 隔离 机 
制 | 
”~ 面向 云 租 户 /去 用 户 ， 以 及 云 管理 员 的 数据 中 心 边界 安全 网 关 、 
on 
”~ 面向 云 租 户 /去 用 户 的 云 存储 持久 化 数据 加 密 、 解 密 及 其 密 钥 管 
理 机 制 |; 


> 作为 云 管理 维护 及 云 用 户 交 互 界面 的 Web Portal 的 应 用 层 安全 防 


攻击 机 制 ; 
” 面向 云 管理 者 及 监管 机 构 的 ， 基 于 数据 中 心 系 统管 理 与 业务 日 
志 的 安全 合 规 性 分 析 ; 


> 托管 应 用 的 安全 网 关 (如 Email、 其 他 Web 应 用 等 ， 可 选 ) 。 
2.3.6 ”高 可 靠 


更 高 级 别 的 可 靠 性 一 直 被 公认 为 是 集约 式 的 数据 中 心计 算 模 式 ， 相 
比 传统 全 分 布 PC 计算 模式 ， 其 可 以 提供 货架 式 的 、 具 备 量 化 服务 水 平 保 
障 的 增值 特性 。 由 于 云 计算 技术 的 引入 ， 使 得 效 据 中 心 系统 的 动态 计算 
负载 可 以 进一步 以 与 上 层 应 用 无 天 的 形态 进行 跨越 硬件 服务 器 边界 的 调 
度 ， 同 时 数据 信息 也 可 通过 网 络 在 数据 中 心 内 不 同 持久 化 存储 和 计算 节 
点 内 存 之 间 ， 甚 至 是 跨 地 理 区 域 的 多 个 不 同 数据 中 心 之 间 进 行 容 灾 同 
步 ， 使 得 运行 于 云 平 台 之 上 的 应 用 相 比 传统 方式 ， 可 将 更 多 的 精力 聚焦 
于 核心 业务 ， 而 将 可 靠 性 保障 留 给 云 计算 效 据 中 心 IaaS 服 务 层 来 提供 。 

高 可 靠 性 的 架构 属性 保障 涵盖 如 下 方面 。 

” 云 管 理 节点 目 身 的 可 靠 性 保障 机 制 。 

” 承载 用 户 计算 负载 的 计算 节点 的 故障 恢复 机 制 : 计算 节点 本 地 

重启 故障 ， 以 及 不 可 本 地 重启 类 的 异地 恢复 类 故障 发 生 时 ， 如 
何在 无 需 维护 干预 以 及 应 用 层 特殊 处 理 的 前 提 下 ， 保 持 业 务 提 
供 的 连续 性 。 

” 云 计算 数据 中 心 整体 网 络 的 可 靠 性 保障 机 制 。 

”~ 云 存 储 数据 连续 服务 与 数据 防 丢失 保障 机 制 ， 如 硬盘 故障 、 服 

务 右 故障 、 机 柜 / 机 框 ， 旋 至 整个 数据 中 心意 外 电源 及 网 络 故 障 
的 容错 与 恢复 能 力 。 


2.4.1 桌面 云 
基于 云 计 算 总 体 架 构 下 的 桌面 云 解决 方案 ， 如 图 2-29 所 示 。 


呼叫 中 心 应 用 营业 厅 应 用 桌面 办 公 应 用 数据 中 心 管理 / 
ITSM 管 理 


中 间 件 服务 层 桌面 会 话 网 关 桌面 流 化 协议 


数据 服务 层 


2 | 国生 有 
调度 层 及 集群 调度 及 资源 调度 及 资源 调度 

虚拟 计算 “| | 物理 计算 虚拟 存储 | “物理 存储 虚拟 网 络 ”|| ”物理 网 络 
接 入 适配器 || 接 入 适配器 接 入 适配器 


| 

软件 定义 网 络 壮 
SDN 控 全 器 ] [起 拟 业务 网 关 安全 管理 
VxLAN + vSwitch L 3 
镜像 管理 


汇聚 / 
核心 交换 


硬件 自动 化 


应 用 部 署 与 


天 RE 世 
维护 自动 化 】 滑 


虚拟 资源 层 


NAS ] 


图 2-29 ”桌面 云 解决 方案 架构 子 系统 组 合 
桌面 云 解决 方案 主要 基于 云 计 算 平 台 的 弹性 计算 、 弹 性 存储 、 操 作 
运 维 及 业务 发 放 管 理 系统 功能 ， 通 过 集成 桌面 云 会 话 控制 管理 及 远程 虚 
拟 桌面 控制 代理 等 模块 ， 提 供 针 对 企业 内 部 应 用 的 呼叫 中 心 桌面 云 、 营 
业 厅 终 疹 果 面 云 、Office 办 公 宋 面 云 解决 方案 ， 以 及 面向 公众 网 用 户 的 
VDI 出 租 业 务 。 
其 主要 业务 流程 包括 : 
> 来 自 企 业 IT 系 统 或 运营 商 BOSS 系 统 的 桌面 云 发 放 命 令 ， 通 过 与 
云 计算 云 管理 平台 之 间 的 SOAP、RESTFUL API 接 口 ， 交 互 包 
含 标准 桌面 配置 规格 定义 的 VDI 业 务 发 放 /撤消 封 状 式 命 令 ; 


“W/R/ 
LBS/DHCP 


TOR 交 换 


上 小 

高 性 能 分 布 式 让 
7 

SAN | 


物理 资源 层 | 机 架 服务 器 ] | | 融合 AL | 


云 管理 平台 的 BSS 系 统 对 VDI 业 务 发 放 命令 进行 解析 ， 将 该 命令 
分 解 为 指向 “桌面 会 话 网 关 ” 的 VDI 账 户 发 放 命 令 ， 以 及 指向 “ 弹 
性 计算 API 及 集群 调度 ”的 VDI 虚 拟 机 实例 发 放 命 令 ; 

“桌面 会 话 网 关 ” 接 受 来 自 云 管理 平台 的 命令 创建 桌面 账户 ; 
“弹性 计算 ”服务 部 分 接受 来 自 云 管理 平台 BSS 部 分 通过 的 EC2 兼 
容 接 口 创建 符合 原始 发 放 需 求 规格 、 包 含 虚拟 桌面 服务 器 端 代 
理 的 虚拟 机 镜像 ， 桌 面 服务 端的 EC2 IP 地 址 还 将 反馈 给 “桌面 会 
话 网 关 ” 系 统 ; 

“桌面 会 话 网 关 " 接 收 来 自 VDI 瘦 终端 的 HITP/HTTPS 捆 面 会 话 登 
录 请 求 ， 通 过 云 计算 API 与 AAA 服务 器 交互 ， 或 者 与 企业 
LDAP/AD 服 务 目录 交互 进行 用 户 身份 鉴 权 ， 随 后 进一步 通过 
EC2 API 通 知 弹 性 计算 服务 启动 虚拟 机 的 运行 实例 ; 

“弹性 计算 ”服务 通过 与 “弹性 存储 ”通过 SOAP 消 息 交 互 ， 完 成 指 
定 业务 发 放 命令 中 指定 的 虚拟 存储 卷 的 挂 载 ， 其 中 包括 为 该 虚 
拟 分 配 的 系统 卷 及 数据 卷 ， 虚 拟 机 从 其 系统 卷 引 导 启 动 ， 完 成 
系统 的 初始 化 启动 ; 

用 户 认证 通过 后 ， 将 用 户 所 用 VDI 瘦 终端 通过 远程 桌面 协议 与 
数据 中 心服 务 器 相 和 连接， 建立 桌面 会 话 ; 

来 自 瘦 终 端的 客户 操作 通过 “桌面 流 化 协议 ”与 其 后 端 服 务 的 虚 
拟 机 实现 交互 ， 完 成 实际 的 操作 动作 ; 

构成 桌面 云 解决 方案 的 弹性 计算 管理 服务 器 、 块 存储 及 对 象 存 
储 设备 ，VDI 虚 拟 机 ， 桌 面 云 会 话 控制 网 关 ， 数 据 中 心 各 层 交 
换 机 〈 接 入 /汇聚 /骨干 ) ， 防 火 墙 ， 桌面 云 特有 的 负载 均衡 及 
Cache 加 速 设备 (LBS) 相关 的 监控 、 告 和 警 、 性 能 、 配 置 、 拓 扑 
以 及 安全 管理 等 ， 均 通过 符合 SOA 原 则 的 Web OM 对 象 化 API 接 


受 云 管理 子 系统 的 端 到 端 管理 ; 


” “弹性 计算 ”的 智能 调度 算法 ， 可 以 为 有 效 提升 桌面 云 VDI VM 在 
整体 服务 器 集群 内 的 资源 利用 效率 ， 减 少 负载 不 均衡 导致 的 资 
源 浪费 并 提升 节能 减 排 效 率 ， 以 及 实现 桌面 云 工 作 负 载 与 其 他 
非 梨 面 类 工作 负载 的 动态 调度 能 力 提供 支撑 ; 

”由 于 “弹性 计算 ”内 所 有 服务 器 及 虚拟 机 共享 相同 的 “弹性 存储 ” 
实例 使 得 支持 业界 最 大 规模 的 支持 虚拟 机 HA 及 在 线 热 迁 移 的 
集群 成 为 可 能 ， 在 集群 内 的 服务 器 故障 可 以 快速 恢复 ， 从 而 实 
现 软 硬 件 故障 导致 的 VDI 服 务 故 障 影 响 最 小 化 ; 

” 由 于 “弹性 存储 ”所 提供 的 块 存储 跨 服 务 器 、 跨 机 柜 的 数据 可 靠 
性 元 余 机 制 (2 份 或 3 份 拷贝 ) 可 以 为 桌面 云 功能 提供 超越 PC 本 
地 存储 的 数据 可 靠 性 保障 ， 同 时 基于 对 象 存储 的 快照 机 制 以 及 
异地 容 灾 机 制 ， 使 得 泉 面 云 数据 在 更 大 灾难 发 生 时 也 有 机 会 还 
原 为 最 近 一 次 快照 时 刻 的 存储 数据 内 容 ; 

” 针对 桌面 办 公 类 应 用 ， 采 用 软件 预 安装 模式 ， 除 基本 客户 机 操 
作 系 统 外 ， 进 一 步 增 加 终端 安全 管理 、Office 系 列 、UC 通 信 、 
Email、CRM、ERP 等 预 装 软件 ， 并 可 根据 不 同 目标 市 场 ， 制 
作 不 同 的 虚拟 机 模板 ， 可 以 在 云 管理 平台 中 指定 不 同 虚拟 机 、 
存储 及 网 络 带 宽 规格 ， 甚 至 不 同 的 计 费 规则 (针对 公有 云 桌 面 
出 租 的 场景 ) 。 


2.4.2 ”存储 云 


基于 云 计算 总 体 架构 下 的 存储 云 解 决 方案 ， 如 图 2-30 所 示 。 


企业 在 线 存储 企业 在 线 备份 个 人 媒体 中 心 数据 中 心 管理 / 
ITSM 管 理 
中 间 件 服务 层 分 布 式 对 象 存储 
AN 
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数据 服务 层 
服务 目录 
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i a 
图 2-30 ”存储 云 解决 方案 架构 子 系统 组 合 
云 存储 解决 方案 依托 云 计算 平台 的 弹性 存储 、 分 布 式 对 象 存 储 ， 以 
及 操作 运 维 及 业务 发 放 管 理 系 统 等 功能 ， 通 过 集成 第 三 方 的 企业 在 线 备 
份 软件 、 个 人 网 盘 、 个 人 媒体 上 载 及 共享 类 软件 ， 人 允许 云 存储 运营 商 提 
供 面向 个 人 消费 者 用 户 的 廉价 /高 性 能 网 络 存 储 服务 ， 以 及 面向 企业 用 户 
的 在 线 备 份 及 恢复 类 服务 
在 云 存 储 平台 与 企业 备份 /恢复 类 应 用 软件 以 及 个 人 网 盘 、 个 人 媒体 
上 载 /共享 类 软件 绑 定 部 署 销售 的 场景 下 ， 与 云 存 储 应 用 用 户 的 Portal、 
UI 交 互 界 面 及 其 与 应 用 相关 的 核心 业务 功能 〈 如 权限 管理 、 断 点 续 传 
等 ) 由 第 三 方 合 作 的 应 用 软件 支撑 ， 同 时 从 服务 器 端 或 直接 从 客户 端 调 
用 “弹性 存储 ”服务 的 对 象 存储 或 分 布 式 文件 系统 API (OBS/POSIX)， 实 
现 对 云 存 储 用 户 的 高 吞吐 量 、 超 大 容量 存储 内 容 的 读 写 及 其 元 数据 管 
理 。 该 模式 下 ， 用 户 的 计 费 主要 由 第 三 方 软件 负责 。 
运营 商 的 云 存 储 平台 以 IaaS 形 式 提供 与 第 三 方 合作 的 企业 备份 /恢复 
类 应 用 软件 ， 以 及 个 人 网 盘 、 个 人 媒体 上 载 / 共 享 类 软件 的 后 端 支撑 ， 此 
时 “弹性 存储 ”提供 对 第 三 方 云 存 储 应 用 软件 的 多 租户 隔离 以 及 存储 空间 


和 IOPS/MBPS 访 问 流量 的 精确 计量 ， 以 便 为 云 存储 服务 商 与 第 三 方 增值 
服务 提供 商 之 间 的 计 费 结算 与 商业 分 成 提供 支撑 。 

“弹性 存储 ”提供 以 通用 服务 器 及 其 硬盘 为 基础 的 全 分 布 式 平台 ， 具 
备 水 平 无 级 扩展 、 超 大 容量 等 特点 ， 并 通过 瘦 分 配 、 跨 用 户 的 重复 数据 
删除 、 数 据 压 缩 等 大 幅 降 低 云 存储 的 设备 及 运 维 成 本 ， 实 现 超 高 性 价 比 
存储 方案 ， 提 升 云 存 储 类 业务 的 利润 空间 。 

“弹性 存储 ”所 提供 的 块 存储 跨 服务 器 、 跨 机 柜 的 数据 可 靠 性 见 余 机 
制 《2 份 或 3 份 拷贝 ) 可 以 为 存储 云 功 能 提供 超越 PC 本 地 存储 的 数据 可 靠 
性 保障 ， 同 时 基于 对 象 存 储 的 快照 机 制 和 异地 容 灾 机 制 ， 使 得 存储 云 数 
据 在 更 大 灾难 发 生 时 也 有 机 会 还 原 为 最 近 一 次 快照 时 刻 的 存储 数据 内 
容 。 


2.4.3 IDC 托 管 云 


基于 云 计算 总 体 架构 下 的 IDC 托 管 云 解决 方案 ， 如 图 2-31 所 示 。 
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Portal IDC/WEB 应 用 的 集成 数据 中 心 管理 / 


ITSM 管 理 
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图 2-31 IDC 托 管 云 解决 方案 架构 子 系统 组 合 


IDC 托 管 云 解 决 方案 依托 云 计 算 平 台 的 弹性 计算 集群 、 弹 性 存储 集 
群 、 分 布 式 结构 化 存储 服务 以 及 分 布 式 消息 队列 服务 ， 为 IDC (Internet 
数据 中 心 ) 运营 商 提供 ISP/ICP 多 租户 的 计算 与 存储 资源 的 托管 服务 。 

业务 应 用 与 IT 子 系统 运行 于 IDC 托 管 云 中 ， 隶 属于 不 同 的 第 三 方 
ISP/ICP 以 及 企业 。IDC 托 管 云 依托 于 云 平台 的 上 自动化、 虚拟 化 基础 能 
力 ， 实 现 多 租户 的 分 权 分 域 的 安全 隔离 及 资源 共享 ， 相 比 传统 的 物理 服 
务 器 独占 式 的 IDC 解 决 方案 ， 其 可 提供 高 出 3~5 倍 的 IDC 出 租 资源 利用 
效率 ， 从 而 有 效 提升 IDC 托 管 类 业务 的 利润 率 。 

云 计算 中 云 管理 平台 的 BSS 子 系统 为 IDC 业 务 的 运营 发 放 、 资 费 定 
价 、 后 计 费 、 实 时 付费 ( 按 资源 规格 、 按 时 长 、 按 流量 ， 以 及 上 述 各 类 
维度 的 综合 ) 提供 了 强大 的 后 台 支 撑 。 如 果 用 户 (运营 商 ) 已 有 BSS 系 
统 ， 可 通过 云 计 算 API (EC2/S3 等 的 兼容 API) 与 用 户 已 有 的 后 台 BSS 系 
统 进行 对 接 。 

除 虚拟 化 计算 集群 资源 ( 含 虚拟 CPU 与 内 存 资源 ， 以 及 挂 载 于 该 虚 
拟 机 实例 之 下 的 系统 卷 及 数据 卷 块 存储 资源 ) 之 外 ， 云 计算 平台 还 提供 
独立 的 分 布 式 对 象 结构 化 存储 ， 分 布 式 消息 队列 等 超越 单机 物理 处 理 能 
力 范畴 的 分 布 式 中 间 件 服务 (针对 运行 于 云 平 台 之 上 的 软件 ) ， 以 及 远 
程 接 入 的 服务 能 力 “ 虚 拟 桌 面 ”( 针 对 云 平 台 业 务 的 直接 消费 者 ) 。 

云 计算 平台 对 IDC 托 管 的 业务 应 用 的 管理 是 通过 业务 应 用 底层 的 操 
作 系 统 来 完成 的 。 这 些 操作 系统 一 般 为 x86 架 构 ， 如 Windows、Linux 以 
及 Unix。IDC 托 管 的 业务 应 用 也 可 以 与 操作 系统 一 起 打包 作为 一 体 化 的 
虚拟 机 镜像 使 用 。 只 要 IDC 托 管 应 用 本 身 的 颗粒 度 不 超过 一 个 物理 服务 
器 的 场景 ， 则 不 存在 软件 兼容 性 问题 ， 但 需要 IDC 托 管 应 用 的 软件 管理 
系统 实现 与 云 计 算 平台 API 的 集成 ， 实 现 软 件 安 装 部 署 及 监控 维护 从 硬 
件 平台 到 云 平 台 的 迁移， 并 可 能 依赖 “运营 维 管子 系统 的 自动 化 应 用 部 
署 引擎 ， 实 现 跨越 多 个 应 用 虚拟 机 镜像 的 复杂 拓扑 连接 的 默认 模板 化 自 


动 部 署 ， 从 而 有 效 提升 大 型 分 布 软件 的 部 署 效率 ， 这 是 目前 云 计算 IDC 
托管 的 主流 形态 。 

针对 分 布 式 对 象 存 储 、 分 布 式 消息 队列 、 分 布 式 列 存储 数据 库 等 场 
景 ， 则 需要 IDC 托 管 应 用 针对 其 业务 层 API 进 行 适 配 改造 ， 相 对 难度 较 
高 ，IDC 托 管 应 用 一 般 是 云 计算 平台 生态 战略 联盟 内 的 云 频 用 合作 伙 


伴 。 
2.4.4 ”企业 私有 云 
基于 云 计 算 总 体 架构 下 的 企业 私有 云 解 决 方案 ， 如 图 2-32 所 示 。 
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图 2-32 ”企业 私有 云 解决 方案 架构 子 系统 组 合 
伴随 IT 与 网 络 技 术 的 飞速 发 展 ，IT 信 息 系统 对 于 企业 运作 效率 、 核 
心 竞争 力 ， 以 及 企业 透明 化 治理 正在 起 着 越 来 越 重 要 和 无 可 替代 的 作 
用 ， 而 企业 信息 集中 化 、 企 业 核 心 信息 资产 与 商业 逻辑 的 规模 越 来 越 庞 
大 ， 跨 不 同 厂家 TT 软 硬 件 产 品 的 集成 复杂 度 不 断 增 加 。 企 业 IT 系 统 的 架 
构 正 在 从 传统 的 与 特定 三 家 硬件 平台 及 管理 系统 绑 定 的 客户 端 /服务 器 
(B/S、C/S) 架 构 向 更 为 集中 化 的 统一 整合 平台 架构 的 方向 演进 。 云 计算 


平台 与 企业 IT 应 用 层 软 件 的 结合 ， 尤 其 是 基于 虚拟 机 的 弹性 计算 服务 、 
虚拟 网 络 服务 、 虚 拟 桌 面 服务 、 分 布 式 块 存储 、 对 象 存 储 服务 、 文 件 系 
统 服务 以 及 与 之 配套 的 自动 化 运 维 管控 的 能 力 ， 使 得 企业 IT 系统 可 以 更 
高 效 地 支撑 企业 核心 业务 的 敏捷 运作 ， 大 幅 提 升 IT 及 机 房 基础 设施 利用 
效率 并 实现 节能 减 排 。 

在 保障 业务 运行 效率 与 性 能 不 下 降 的 前 提 下 (计算 、 存 储 资 源 配 
额 ， 业 务 访 问 时 延 等 ) ， 通 过 将 原 有 直接 运行 在 x86 服 务 器 硬件 平台 之 
上 的 企业 IT 软 件 迁 移 到 虚拟 化 平台 ， 将 企业 IT 软 件 相 关 的 存储 数据 〈 数 
据 库 /文件 格式 ) 迁移 到 分 布 式 块 存储 或 者 传统 IP-SAN 存 储 ， 可 以 充分 
利用 弹性 计算 平台 的 跨 服务 器 边界 的 资源 分 配 与 热 迁 移 能 力 ， 实 现 多 个 
相 对 独立 的 IT 软 件 应 用 在 虚拟 机 资源 池内 动态 共享 ， 以 及 削 峰 错 谷 的 负 
载 均衡 调度 ， 并 实现 不 同 应 用 的 分 级 QoS (硬件 资源 下 限 ) 策略 保障 ， 
实现 IT 资 源 利用 效率 从 平均 20%~30% 到 60%~~70% 的 提升 。 同 时 在 系统 
轻 载 的 情况 下 ， 通 过 将 轻 载 虚拟 机 迁移 到 少数 物理 服务 器 ， 可 实现 更 多 
空 亲 服务 器 硬件 的 自动 休眠 ， 来 最 大 限度 地 提升 数据 中 心 及 IT 资源 池 的 
节能 减 排 效 率 。 

借助 云 计算 平台 的 虚拟 桌面 〈 即 桌面 云 ) 能 力 ， 可 以 实现 企业 员工 
PC 办 公 的 计算 与 存储 能 力 向 数据 中 心 的 集中 化 迁移 ， 实 现 核心 信息 资产 
与 用 户 接 入 访问 终端 的 解 厢 和 剥离 。 虚 拟 桌 面具 有 绿色 、 节 能 、 安 全 隔 
离 及 移动 接 入 能 力 方面 的 优势 。 除 了 对 办 公 PC 的 改造 之 外 ， 虚 拟 桌 面 也 
是 最 终 企 业 员 工 接 入 到 后 端 IT 应 用 业务 的 必 由 界 面 和 通道 。 

借助 面向 大 型 分 布 式 应 用 软件 的 云 计算 自动 化 、 模 板 化 部 署 ， 通 过 
故障 自动 修复 管理 能 力 ， 运 行 态 自动 伸缩 管理 工具 ， 弹 性 计算 、 虚 拟 网 
络 、 虚 拟 桌 面 与 企业 IT 管 理 系统 〈 含 可 选 的 ITIL 子 系统 ) 的 无 缝 集成 ， 
可 以 实现 IT 应 用 软件 与 底层 IT 硬 件 与 网 络 基础 设施 的 彻底 解 厢 ， 利 用 标 
准 化 的 虚拟 应 用 部 署 模 板 (描述 格式 如 OVF) 大 幅度 (70%) 缩短 IT 软 


件 应 用 的 上 线 部 署 效率 ， 以 及 降低 业务 在 线 运 营 的 容量 规划 与 故障 维护 
的 复杂 度 ， 有 效 提升 IT 服 务 支 持 企业 核心 业务 的 SLA 水 平和 效率 ， 从 而 
促进 企业 生产 率 的 同步 提升 。 

云 计算 的 分 布 式 对 象 存储 、 半 结构 化 存储 〈 列 存储 数据 库 ) 以 及 消 
息 队列 能 力 ， 对 于 企业 私有 云 来 说 ， 是 可 选 的 高 层 云 平台 能 力 。 其 适用 
于 企业 定制 开发 新 型 应 用 ， 比 如 : 企业 /行业 搜索 引擎 ， 基 于 企业 IT 系统 
海量 日 志 或 统计 类 数据 仓库 的 商业 智能 挖掘 与 分 析 ， 以 便 指 导 企业 的 业 
务 规 划 策 略 的 调整 优化 等 以 大 数据 集 作 为 输入 和 输出 的 软件 ， 是 性 价 比 
最 优 的 选择 。 但 这 部 分 云 平台 能 力 在 企业 私有 云 中 一 般 无 法 适用 于 面向 
实时 在 线 事 务 及 交易 类 的 应 用 形态 。 原 因 是 这 些 云 平 台 的 API 与 单机 通 
用 操作 系统 (Windows、Linux、Unix 等 ) 下 的 文件 系统 、 进 程 间 通信 以 
及 数据 库 访问 API 都 是 不 兼容 的 ， 而 业界 大 多 数 企业 IT 应 用 软件 、 商 业 
操作 系统 以 及 数据 库 (如 Oracle) 软 件 是 运行 在 通用 操作 系统 之 上 的 。 


2.4.5 ”大 数据 分 析 云 


基于 云 计算 总 体 架构 下 的 大 数据 分 析 云 解决 方案 ， 如 图 2-33 所 示 。 

大 数据 分 析 云 解决 方案 为 海量 静态 数据 批 处 理 以 及 大 流量 动态 流 数 
据 处 理 为 关键 特征 的 企业 及 行业 应 用 场景 提供 支撑 ， 通 过 自动 化 提取 与 
归纳 价值 信息 实现 业务 增值 。 大 数据 分 析 云 由 云 计算 的 并 行 数据 分 析 与 
安 掘 平台 所 支撑 ， 可 充分 利用 云 计 算 底 层 能 力 创造 最 大 价值 。 

在 海量 静态 数据 批 处 理 的 场景 下 ， 大 数据 分 析 平 台 需 要 充分 分 析 经 
过 相当 长 一 段 时 间 积 累 的 、 存 储 容量 庞大 的 历史 数据 (如 话 单 、 日 志 、 
话 统 信息 等 ) 。 大 数据 分 析 平 台 的 并 行 数据 处 理 引 擎 进一步 依赖 于 弹性 
计算 集群 、 弹 性 存储 服务 、 分 布 式 结构 化 存储 服务 以 及 分 布 式 消息 队列 
服务 ， 为 诸如 互联 网 电子 商务 网 站 用 户 、 电 信 运 营 商 的 BSS/OSS 系 统 、 


视频 娱乐 类 网 站 、 搜 索 类 网 站 等 提供 服务 。 大 数据 分 析 平 台所 提供 的 服 
务 类 型 包括 : 信息 库 精 细 化 搜索 、 用 户 消 费 行为 日 志 分 析 、 系 统 运 行 日 
志 分 析 以 及 集中 监控 信 令 信息 的 智能 分 析 和 挖掘 。 这 些 大 数据 分 析 服 务 
为 精确 定位 广告 推送 、 网 络 运 维 优化 、 基 于 用 户 消费 趋势 分 析 的 销售 策 
略 等 商业 运营 提供 策略 决策 性 支撑 。 
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图 2-33 ”大 数据 分 析 云 解决 方案 架构 子 系统 组 合 

在 流量 动态 数据 流 处 理 的 场景 下 ， 其 关键 特征 在 于 对 来 自 于 数量 庞 
大 的 信息 源 所 产生 的 动态 事件 与 动态 数据 (比如 来 自 电信 网 络 实时 检测 
的 信 令 信息 、 来 自 于 众多 车 辆 GPS 的 定位 信息 、 来 自 物 联网 终端 实时 采 
集 的 信息 等 ) ， 在 一 个 相对 较 短 的 时 间 窗 口内 ， 进 行动 态 数据 的 流水 线 
方式 自动 关联 分 析 与 处 理 ， 并 给 出 及 时 、 准 确 和 智能 的 执行 策略 决策 ， 
为 特定 业务 目标 服务 《如 大 规模 智能 交通 云 、 物 流 云 的 构建 ) 。 与 上 节 
数据 批 处 理 在 分 割 、 合 并 与 混 排 等 中 间 步 又 所 涉及 的 大 量 持 久 化 存储 WO 
交互 方面 的 特征 相 比 ， 其 最 大 差异 处 在 于 ， 数 据 流 处 理 过 程 更 讲究 处 理 
的 及 时 性 与 敏捷 控制 能 力 ， 因 此 处 理 过 程 主要 在 内 存 中 完成 。 流 处 理 与 
批 处 理 可 以 统一 在 相同 的 框架 引擎 之 下 。 


为 便于 广大 第 三 方 应 用 开发 编程 人 员 以 及 云 计 算 平 台 生 态 系统 的 合 
作 伙 伴 充分 独立 于 海量 数据 批 处 理 以 及 流 处 理 业务 的 内 部 实现 架构 细 
节 ， 可 在 并 行 数据 分 析 引 和 擎 与 并 发 应 用 之 间 设 置 SQL/ 类 SQL 适 配 与 翻译 
层 ， 提 供 开 发 人 员 所 熟知 的 SQL 或 类 SQL 规 范 语 言 进行 海量 数据 的 操 
作 。 


2.4.6 ”数据 库 云 


基于 云 计 算 总 体 染 构 下 的 数据 库 云 解决 方案 ， 如 图 2-34 所 示 。 

数据 库 云 主 要 指 基于 云 平 台 构 建 的 结构 化 / 半 结 构 化 数据 库 处 理 系 
统 。 

数据 库 云 可 以 基于 虚拟 化 平台 ， 也 可 以 基于 物理 平台 直接 构建 。 

在 性 能 要 求 高 的 场景 下 ， 一 般 基 于 物理 平台 构建 ， 系 统 无 需 弹 性 计 
算 部 分 (图 中 虚线 表现 ) ; 而 在 要 求 容量 很 大 、 应 用 用 户 很 多 的 情况 
下 ， 则 可 采用 基于 虚拟 化 平台 构建 的 形式 。 

数据 库 云 一 般 以 数据 库 一 体 机 的 形态 出 现 ， 会 在 以 下 方面 做 一 些 增 
强 。 
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图 2-34 数据库 云 解 决 方案 架构 子 系统 组 合 
” 数据 库 加 速 : 为 取得 更 好 的 数据 库 性 能 ， 会 在 硬件 层 、 弹 性 存 
储 层 做 垂直 层面 的 深入 调 优 ， 例 如 采用 读 写 更 快 的 SSD 卡 ， 采 
用 面向 数据 库 独 特 的 读 写 算法 。 
” 数据 库 加 固 : 为 保证 数据 库 数据 不 丢失 、 不 损坏 ， 会 在 中 间 件 
服务 层 增 加 数据 库 的 备份 /恢复 、 容 灾 、 定 期 校 验 等 服务 ， 提 高 
数据 的 可 用 性 。 


2.4.7 ”媒体 云 


基于 云 计 算 总 体 染 构 下 的 媒体 云 解决 方案 ， 如 图 2-35 所 示 。 
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图 2-35 ”媒体 云 解决 方案 架构 子 系统 组 合 
媒体 云 解 决 方案 依托 云 计算 平台 的 弹性 计算 集群 、 弹 性 存储 集群 、 
分 布 式 结构 化 存储 服务 以 及 分 布 式 消息 队列 服务 ， 为 广电 系统 电视 台 企 
业 提 供 高 效率 的 媒体 存储 、 编 辑 及 缓存 加 速 的 计算 与 存储 资源 托管 服 


务 。 


媒体 云 采用 云 平台 的 关键 驱动 力 ， 来 源 于 面向 公共 媒体 传播 的 广播 
电视 行业 (包括 国家 及 地 方 电视 台 、 广 播 电 台 ) 从 模拟 传统 卡带 式 存储 
向 全 面 的 数字 媒体 化 方向 的 发 展演 进 。 在 此 过 程 中 ， 数 字 化 内 容 与 云 数 
据 信息 需 进行 大 规模 集约 化 存储 、 处 理 以 及 分 发 。 这 些 需 求 包括 媒体 的 
采集 、 编 辑 、 播 放 控 制 、 音 视频 媒体 转 码 、 管 理 等 各 方面 的 软件 处 理 需 
求 。 目 前 国内 外 业界 (如 中 科大 洋 、 索 贝 等 ) 已 纷纷 推出 针对 媒体 采集 
编 播 的 专业 化 软件 ， 这 些 软件 重点 聚焦 于 解决 媒体 内 容 资产 的 应 用 层 的 
业务 处 理 ， 但 在 对 底层 的 服务 器 及 存储 硬件 基础 能 力 提升 方面 仍然 缺乏 
积累 ， 如 增强 服务 器 存储 硬件 的 使 用 效率 ， 如 何以 更 低 的 成 本 提供 更 大 
的 存储 空间 、 处 理 能 力 和 IO 吞吐 带宽 ， 可 靠 性 容 灾 能 力 ， 以 及 按照 业务 
需求 分 配 弹 性 可 伸缩 的 资源 池 等 。 只 有 上 述 专业 化 的 媒体 管理 软件 与 云 
平台 能 力 紧 密 结合 ， 才 能 实现 媒体 数据 中 心 基础 设施 硬件 资源 利用 率 的 
提升 ， 实 现 节能 减 排 ， 获 得 最 优 的 较 硬件 整体 性 价 比 。 
云 计算 平台 对 于 媒体 云 数 据 中 心 的 核心 价值 在 于 以 下 几 点 。 
” 海量 存储 能 力 : 来 源 于 各 种 片 源 的 音 视频 媒体 内 容 信息 本 身 的 
持久 化 存储 ， 由 于 数据 量 庞 大 、 存 储 周 期 长 (3 个 月 ) ， 采用 
传统 的 Scale-up 模 式 的 RAID 控 制 方式 存储 在 性 价 比方 面 已 越 来 
越 难 以 满足 媒体 云 规模 化 运营 的 需求 。 同 时 ， 媒 体 云 的 多 项 业 
务 ， 尤 其 是 视频 /音频 媒体 的 编辑 制作 以 及 在 线 播放 ， 都 对 存储 
与 计算 资源 之 间 的 高 IO 吞 吐 率 (IOPS/MBPS) 提出 了 更 高 的 
要 求 。 满 足 这 些 需求 依赖 于 引入 支持 无 级 水 平 扩展 的 Scale-out 
存储 。 
” 跨 业务 共享 的 计算 、 存 储 资 源 共享 与 均衡 : 针对 媒体 云 应 用 层 
软件 的 不 同业 务 类 别 〈 采 、 编 、 播 、 存 、 管 等 ) 在 同一 时 间 段 
的 资源 占用 情况 差别 巨大 的 特点 ， 通 过 引入 云 平 台 ， 采 用 统一 
的 资源 池 平 台 支撑 资源 的 自动 伸缩 、 动 态 错 峰 削 谷 与 负载 均 


衡 ， 通 过 SOA Web Service/REST 接 口 与 应 用 层 软 件 交 互 实现 自 
动 化 的 资源 管理 能 力 ， 平 均 资源 占用 率 可 以 从 20% 提 升 到 70% 
以 上 。 

”~ 并 行 计算 与 海量 处 理 能 力 : 针对 媒体 云 普 遍 所 需 的 不 同 的 视频 
格式 之 间 的 动态 转换 (TS、H.264、MP4、AVI、RMVB 等 ) 需 
求 ， 由 于 媒体 文件 尺寸 庞大 ， 计 算 能 力 需求 密度 高 ， 通 过 最 大 
限度 提高 编 解 码 的 并 行 度 ， 可 充分 利用 可 获得 计算 资源 对 大 媒 
体 文件 分 而 治之 ， 有 效 缩短 编码 处 理 所 需 时 间 ， 以 资源 换取 时 
间 ， 大 幅度 提升 业务 处 理 效 率 。 其 他 诸如 广告 推送 等 增值 业 
务 ， 也 可 依赖 于 并 行 数据 分 析 与 处 理 平台 实现 基于 用 户 消费 行 
为 历史 数据 分 析 的 智能 化 与 自动 化 的 广告 策略 制定 与 发 布 。 

” 分 布 式 缓存 与 加 速 : 为 缓解 广大 互联 网 用 户 点 播 热点 多 媒体 内 
容 引 发 巨 量 带宽 需求 与 有 限 互联 网 广 域 连接 带宽 的 矛盾 ， 需 要 
在 媒体 云 数 据 中 心 对 媒体 内 容 进行 分 片 ， 并 自动 识别 用 户 访问 
热点 。 热 点 内 容 被 自动 推送 到 分 布 式 网 络 节点 缓存 ， 供 用 户 就 
近 访 问 ， 从 而 缓解 集中 访问 的 带宽 压力 。 缓 存 的 内 容 与 云 数据 
中 心 的 源 内 容 会 定期 同步 ， 以 保证 用 户 看 到 的 内 容 为 最 新 内 
容 。 


2.4.8 ”电信 NFV 云 


基于 云 计算 总 体 染 构 下 的 电信 NFV 云 解决 方案 ， 如 图 2-36 所 示 。 
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图 2-36 ”电信 NFV 云 解决 方案 架构 子 系统 组 合 

NFV (Network Function Virtualization 网 络 功 能 虚拟 化 ) 旨 在 通过 研 
究 标 准 开 虚拟 化 技术 ， 使 得 电信 和 网络 设备 的 功能 能 够 以 软件 方式 运行 在 
符合 行业 标准 的 大 容量 通用 的 服务 器 、 交 换 机 和 存储 设备 中 去 。 
软件 可 以 根据 需要 在 网 络 中 不 同位 置 的 硬件 上 安装 和 凶 载 ， 不 需 
新 的 硬件 设备 。 简 单 地 说 ，NFV 就 是 在 平台 层 引 入 云 计算 平台 ， i 
RP 入 备 解 耦 。 

电信 NFV 云 通过 引入 云 计算 平台 ， 主 要 要 解决 运营 两 如 下 几 大 问 


题 。 


提高 硬件 投资 收益 比 


简单 来 说 ， 采 用 通用 硬件 一 方面 可 以 大 大 降低 成 本 ， 另 一 方面 开通 
新 的 业务 时 也 不 需要 更 换 硬 件 ， 只 要 升级 相应 的 软件 即 可 。 


提高 业务 部 署 的 灵活 性 


由 于 NFV 使 得 软件 和 硬件 解 厢 ， 也 就 是 说 运营 两 的 业务 可 以 灵活 部 
署 在 不 同 机 框 和 不 同 机 房 ， 在 不 同 地 域 的 硬件 上 部 署 ， 那 么 相 比 传统 业 
务 部 署 来 说 自然 是 极 大 地 提高 了 灵活 性 。 


快速 部 署 业务 


软 硬 件 解 耦 融 来 的 最 大 好 处 就 是 设备 商 可 以 专注 于 纯 软件 层面 的 研 
发 ， 在 已 有 的 软 硬 件 部 署 下 ， 新 的 业务 研发 周期 会 大 大 缩短 ， 运 营 商 也 
能 尝 到 快速 部 署 业 务 的 甜头 。 


自动 扩容 和 节能 减 排 


由 于 虚拟 化 技术 的 支撑 ， 网 络 智能 调度 资源 的 能 力 大 幅 提 升 。 在 业 
务 压力 增加 时 网 络 智能 调度 系统 可 以 通过 自动 增加 网 络 资 源 来 缓解 业务 
压力 ; 在 业务 闲暇 时 可 以 通过 自动 地 删 减 网 络 资源 实现 节能 减 排 。 


降低 了 设备 商 的 准 入 门槛 


硬件 设备 通用 了 ， 软 件 接口 也 通用 了 ， 坚 无 疑问 ， 设 备 商 的 准 入 门 
监 也 降低 了 ， 这 给 电信 服务 引入 了 更 多 的 竞争 ， 这 些 对 于 运营 商 来 说 ， 
都 是 最 想 看 到 的 。 

NFV 和 希望 电信 网 元 纯 软 件 化 ， 同 时 又 需要 提供 电信 级 5 个 9 的 高 可 靠 
性 服务 ， 因 此 对 云 计 算 平台 需要 有 更 高 的 要 求 。 

云 计算 平台 对 于 电信 NFV 云 的 核心 价值 在 于 : 

” 电信 应 用 由 于 可 靠 性 要 求 ， 对 应 用 的 虚拟 机 之 间 的 杀 和 性 关系 

有 着 不 同 的 约束 ， 云 计算 平台 支持 电信 应 用 的 各 种 亲 和 性 调度 
需求 。 


电信 级 服务 意味 着 5 个 9 的 高 可 靠 性 ， 对 于 服务 中 断 时 间 有 着 严 
奇 的 要 求 ， 通 过 硬件 故障 快速 检测 和 故障 快速 通知 技术 ， 电 信 
应 用 能 够 快速 感知 故障 ， 并 及 时 进行 自 愈 机制 的 启动 ， 减 少 业 
务 中 断 时 间 。 
作为 NFV 基 础 设施 ， 提 供与 应 用 无 关 的 高 可 靠 性 特性 : HA 
(High Availability) 特性 主要 在 服务 器 出 故障 时 提供 虚拟 机 冷 
备 机 制 ， 轻 量 级 FT (Fault Tolerance) 为 面向 网 络 WO 的 应 用 提 
供 热 备 机 制 以 及 跨 数 据 中 心 的 虚拟 机 容 灾 机 制 。 
针对 NFV 进 行 云 计算 转发 面 的 优化 ， 使 得 YM 到 VM 之 间 的 转发 
性 能 可 提升 到 可 以 满足 电信 网 元 的 要 求 。 
云 计 算 平台 利用 存储 虚拟 化 技术 把 所 有 服务 器 本 地 HDD、 
SAN、NAS 组 合 起 来 构建 超大 规模 存储 资源 地 ， 利 用 服务 器 的 
内 存 /FlashMSSD 构 建 分 布 式 高 性 能 大 容量 近 端 cache 网 格 ， 服 务 
器 机 头 可 同步 横向 扩展 ， 加 速 O 读 写 能 力 。 同 时 ， 云 存储 资源 
池 可 提供 基于 SLA 的 分 级 存储 服务 。 
云 计算 的 自动 化 和 模板 化 (TOSCA、HOT、CloudFormation、 
OVF 等 ) 特性 可 大 幅度 提高 电信 应 用 和 IT 软 件 应 用 的 上 线 效 
率 。 云 计算 的 故障 自动 修复 和 自动 伸缩 管理 能 力 可 大 幅度 降低 
业务 在 线 运 营 与 故障 维护 的 复杂 度 。 
电信 NFV 是 大 规模 复杂 系统 ， 从 电信 应 用 到 IT 的 各 种 应 用 ， 包 
罗 万 象 ， 服 务 海量 用 户 ， 在 线 生 成 海量 数据 。 云 计算 的 结构 化 
数据 库 、 分 布 式 对 象 存储 、 半 结构 化 存储 ( 列 存储 数据 库 ) 以 
及 消息 队列 等 中 间 件 能 力 ， 为 电信 NFV 带 来 广泛 的 运营 基础 能 
力 ， 满 足 日 益 增 长 的 新 老 应 用 的 基础 能 力 需求 ， 加 快 新 业务 和 
新 运营 应 用 的 上 线 能 力 。 


第 3 章 ” 云 计算 相关 的 开源 软件 
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云 计 算是 一 个 很 大 的 系统 ， 它 的 设计 实现 涉及 硬件 的 实现 ， 涉 及 虚拟 化 内 核 的 
选择 ， 涉 及 各 种 计算 /存储 /网 络 虚拟 化 技术 的 选择 ， 涉 及 云 资 源 的 申请 和 管理 ; 不 
同 的 公司 可 能 采用 不 同 的 方法 来 实现 。 然 而 ， 云 计算 的 理念 就 是 要 提供 像 电 一 样 的 
公共 产品 ， 那 它 必然 就 涉及 标准 和 开放 问题 ， 否 则 各 系统 无 法 互通 ， 就 无 法 最 后 构 
建 真正 的 一 个 大 云 。 正 是 基于 此 ， 本 章 就 先 来 讨论 在 云 计算 领域 的 相关 开源 软件 ， 
讨论 其 历史 和 优 缺 点 ， 使 得 后 续 大 家 选择 实现 云 计算 产品 的 时 候 能 做 到 更 好 的 通用 
性 。 


云 操 作 系统 开源 软件 


在 云 计 算 领 域 ， 开 源 云 计算 的 软件 主要 有 OpenStack 、 CloudStack、 
OpenNebula、Eucalyptus， 参 与 人 员 的 数量 和 活跃 程度 、 贡 献 程 度 又 以 OpenStack、 
CloudStack 为 主 。 其 中 OpenStack 开 源 社区 由 于 其 架构 的 开放 性 和 灵活 的 可 扩展 性 ， 
呈现 出 后 来 居 上 的 趋势 ， 参 与 人 员 数 量 和 公司 都 有 一 骑 绝 尘 的 态势 (参考 蒋 清 野 对 
开源 社区 的 跟踪 研究 http:// www.qyjohn.net/?p=3399)。 本 书 针对 开源 云 计算 软件 的 介 
绍 ， 重 点 围绕 OpenStack、CloudStack 展 开 ， 并 特别 强调 作为 开源 软件 ， 软 件 架构 的 
开放 性 、 可 扩展 性 对 生态 系统 构建 的 重要 性 。 


Hypervisor 开 源 软 件 


Hypervisor 领 域 ， 既 有 闭 源 的 ESXi、HyperV， 也 有 开源 的 Xen、KVM。Xen 发 
展 时 间 长 ， 功 能 丰富 ， 也 得 到 了 广泛 的 应 用 ，KVM 作 为 Linux 内 核 集成 虚拟 化 技 
术 ， 则 得 到 了 广泛 的 社区 支持 ,快速 发 展 ， 也 是 OpenStack 社 区 最 常用 的 
Hypervisor， 不 少 企业 和 电信 运营 商 更 是 指定 云 建 设 必 须 基 于 KVMo。 


3.2 Cloud OS) : CloudStack 


2008 年 ，CloudStack 为 初创 公司 VMOps 的 一 个 项 目 ， 后 来 公司 更 名 为 
Cloud.Com，2011 年 7 月 ，Cloud.com 被 Citrix 收 购 ， 其 全 部 源 代码 都 贡献 到 开源 社 
区 。2012 年 4 月 ，Citrix 把 CloudSstack 贡 献 到 Apache 作 为 孵化 项 目 ， 并 于 2013 年 3 月 正 
式 毕 业 ， 成 为 Apache 的 一 个 正式 开源 项 目 ， 软 件 Licence 为 Appache 2.0 Licenceo 

CloudStack 面 向 企业 私有 云 和 公有 云 。 作 为 I1aaS 的 云 计算 平台 ，CloudStack 兼 容 
多 种 Hypervisor， 如 XenServer、VMWare vCenter、Oracle VM、KVM 等 虚拟 机 以 及 
裸 金属 物理 机 的 资源 发 放 ; 在 存储 的 支持 上 ， 基 本 上 覆盖 了 本 地 磁盘 、iSCSI、 
FC、NFS 等 类 型 的 存储 设备 ; 网 络 则 支持 不 同类 型 的 网 络 隔离 ， 提 供 防火 墙 、 
VPN、 负 载 均 衡 服务 。 


3.2.1 CloudSstack 的 总 体 架构 


CloudStack 的 软件 架构 如 下 : 系统 的 主要 部 分 由 Management Server 和 MySQL 组 
成 。Management Server 通 过 XenAPI 管 理 XenServer 虚 拟 机 集群 ， 通 过 vCenter API 管 
理 vCenter 的 虚拟 机 集群 ， 通 过 CloudStack 自 己 的 Agent 管 理 KVM 虚 拟 机 集群 。 通 过 
Management Server 对 最 终 用 户 和 管理 员 提 供 UI 和 API 服 务 。 

CloudStack 提 供 系 统 虚 拟 机 用 于 完成 系统 管理 的 作用 ， 比 如 Secondary Storage 
VM 负责 对 模板 、 快 照 、ISO 镜 像 等 进行 管理 ， 比 如 Console ProxyVM 用 于 提供 虚拟 
机 的 VNC 服 务 。 对 于 租户 的 网 络 服务 ， 可 以 通过 网 络 硬件 实现 (比如 F5、 
NetScale 、 Juniper SRX 等 ) ， 也 可 以 通过 虚拟 机 实现 (比如 Router)。 因 此 
Management Server 需 要 对 这 些 系统 VM 进 行 管理 ， 同 时 也 要 对 网 络 硬件 进行 管理 用 
于 提供 虚拟 网 络 服务 。 

由 于 CloudStack 早 期 由 Cloud.com 开 发 ， 后 又 被 Citrix 收 购 ， 系 统 设计 之 初 对 于 规 
模 和 架构 的 开放 性 考虑 相对 较 少 就 在 所 难免 。 在 成 为 Apache 的 正式 开源 项 目 之 后 ， 
则 面临 着 非 Citrix 和 非 Cloud.com 人 员 是 否 能 够 快速 进入 开发 、 降 低 人 员 参 与 社区 的 
门槛 等 问题 ， 同 时 随 着 实际 使 用 和 交付 的 增多 ， 不同 厂家 的 软 硬 件 能 力 的 集成 以 及 
系统 规模 管理 能 力 都 时 刻 考验 软件 架构 是 否 能 够 支撑 。 软 件 架构 成 了 CloudStack 开 
源 社区 是 否 吸引 生态 系统 的 参与 、 是 否 可 持续 发 展 的 决定 性 因素 ( 见 图 3-1) 。 
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图 3-1 ”CloudStack 的 软件 架构 
例如 ， 可 能 会 遇 到 以 下 问题 。 

(1) 是 否 可 以 增加 定制 的 API? 不 同 集成 商 针对 不 同 的 客户 可 能 有 不 同 的 功能 
要 求 ， 是 否 能 够 在 架构 上 简单 地 增加 定制 化 API， 而 且 不 需要 修改 CloudStack 源 代 
码 ， 最 好 也 不 需要 重新 编译 ， 使 用 CloudStack 社 区 原生 版 本 即 可 做 到 。 

(2) 是 否 可 以 根据 客户 的 需要 ， 增 加 调度 机 制 而 不 需要 修改 CloudStack 的 源 代 
码 ， 也 不 用 重新 进行 CloudStack 的 编译 和 发 行 版 本 ? 比如 ， 对 于 一 个 由 多 个 虚拟 机 
组 成 的 应 用 ， 有 的 虚拟 机 需要 特殊 网 卡 、 特 殊 的 网 络 虚拟 化 加 速 ， 而 另外 一 些 虚 拟 
机 和 该 虚拟 机 有 互 斥 部 署 的 要 求 ， 其 中 某 些 虚拟 机 又 必须 部 署 在 同一 物理 主机 。 

CloudSstack 贡 献 到 Apache 之 后 ， 在 不 断 做 架构 上 的 重 构 ( 见 图 3-2) 。 和 希望 从 原 
来 紧 耦 合 的 Java 应 用 服务 器 架构 修改 成 基于 组 件 化 服务 的 架构 ， 如 把 API 服 务 和 多 资 
源 协同 调度 分 离 出 来 ， 把 Identity 管 理 和 权限 管理 与 API 分 离 ， 业 务 处 理 逻 辑 和 数据 
库 分 离 ， 对 于 系统 规模 增 大 后 资源 消耗 大 的 状态 管理 和 计量 管理 独立 为 Usage 服 
务 ， 通 过 这 样 独立 的 组 件 服 务 ， 能 够 为 系统 带 来 水 平 扩展 能 力 。 


Rest API 服务 器 资源 
。 可 选 的 ， 只 需要 在 必要 时 暴露 配置 API 给 管理 员 


“可 选 的 ， 在 插件 需要 
和 资源 并 置 时 选用 


“ 执行 翻译 层 来 与 资源 


会 


。 利 用 JSON 与 服务 器 
组 件 ; 


件 通信 
数据 接 入 层 | 


图 3-2 基于 组 件 化 服务 的 架构 
对 于 现 有 系统 架构 的 重 构 是 非常 困难 的 一 件 事情 ， 不 能 一 跷 而 就 ， 比 如 在 4.2 版 
本 引入 第 三 方 UI 的 Plugin 机 制 ， 在 最 新 版 本 4.3 中 也 开始 提供 API 的 Plugin 机 制 ， 人 允许 
增加 定制 化 的 API。 而 且 从 CloudStack4.3 开 始 ， 继 续 对 架构 进行 解 厢 ，Spring 框 架 的 
使 用 引入 了 模块 的 自动 发 现 及 加 载 。 
开发 者 除了 使 用 系统 已 经 定义 好 的 API， 还 可 以 自 定义 出 系统 管理 用 的 API。 
当前 可 以 开发 Plugin 的 API 主 要 如 表 3-1 所 示 。 
表 3-1 开发 Plugin 的 API 


API 接 口 名 称 说 明 
NetworkGuru 网 络 隔离 和 卫 地 址 管理 ， 主 要 用 于 Layer 2 的 实现 


网 络 服务 (如 DHCP、DNS、LB、VPN、Port Forwarding 
等 ) 


NetworkElement 


DeploymentPlanner | 虚拟 机 调度 器 ， 用 来 实现 不 同 种 类 的 调度 算法 


Investigator 主机 和 虚拟 机 的 状态 监控 


Fencer 未 知 状态 虚拟 机 的 隔离 (比如 一 个 物理 主机 网 络 中 断 ， 系 


统 判 断 需要 在 另外 Fencer 的 物理 主机 重启 原 物理 主机 上 的 
虚拟 机 ， 但 是 后 来 网 络 连接 又 恢复 了 ， 就 会 出 现 虚 拟 机 状 
态 的 冲突 。 此 时 就 需要 Fencer， 该 功能 比较 复杂 ， 所 以 这 
样 的 特性 不 容易 稳定 ) 


UserAuthenticator 鉴 权 认证 方法 


SecurityCheckerACL | 访问 控制 
HostAllocator 主机 分 配方 法 


StoragePoolAllocator | 块 存储 分 配方 法 


图 3-3 ”是 展开 后 Management i 在 独立 的 服务 之 间 引 入 
Message Bus， 同 时 各 种 类 型 的 资源 通过 Event Bus 把 状态 事件 信息 传送 到 使 用 服务 
器 。 在 API 上 对 外 提供 兼容 EC2 的 API， 分 为 三 种 角色 授权 不 同 用 户 以 不 同 API 的 访 
问 权 限 : Root Admin、Domain Admin 和 Usero 
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图 3-3” Management Server 功 能 结构 图 

前 面谈 到 CloudStack 的 系统 能 力 可 以 通过 LB+Management Server 集 群 来 水 平 扩 

， 这 种 水 平 扩 展 能 力 是 基于 Managerment Server 完 全 无 状态 ， 其 上 层 处 理 逻 辑 和 底 

Eee 通过 水 平 增加 Management Server 数 量 来 应 对 系统 负荷 的 增长 ， 

水 平 扩展 的 极 限 会 出 在 MySQL 数 据 库 上 。 实际 上 ， 在 Management Server 内 还 有 消 
息 总 线 (Message Bus 和 Event Bus)， 随 着 主机 数量 的 增加 ， 消 息 总 线 的 可 扩展 能 
同样 可 能 成 为 系统 的 性 能 瓶颈 。 处 理 方式 可 以 通过 资源 分 片 ， 由 Managerment Server 
只 负责 相应 部 分 资源 的 处 理 ， 好 处 是 限定 了 Management Server 需 要 处 理 的 负荷 上 
限 ， 带 来 的 问题 则 是 增加 了 Management Server 之 间 的 交互 ， 在 资源 扩展 的 时 候 以 及 
Management Server 的 成 员 管理 上 都 增加 了 资源 重新 切 分 的 逻辑 复杂 性 。 


3.2.2 ”CloudStack 的 资源 管理 


CloudStack 的 简化 版 软件 部 署 架构 ， 如 图 3-4 所 示 。 


Hypervisor Hypervisor 


Management Server 


管理 服务 器 物理 主机 物理 主机 


图 3-4 ”CloudStack 简 化 版 软件 架构 
典型 地 ，CloudStack 会 使 用 一 台 服 务 器 作为 管理 服务 器 ， 运 行 CloudStack 的 
Management Server， 用 于 管理 一 台 或 者 多 台 物 理 主机 上 的 虚拟 机 。 在 非 生 产 环 境 
下 ， 也 可 以 在 一 台 服 务 器 上 甚至 是 笔记 本 的 虚拟 机 上 运行 整个 CloudStack。 
Management Server 可 以 运行 在 独立 的 物理 服务 器 上 ， 也 可 以 运行 在 虚拟 机 上 。 
其 主要 的 功能 如 下 : 
” 为 CloudStack 的 管理 员 提 供 WebUI， 同 时 也 提供 APICLI 的 访问 方式 ; 
>” 虚拟 机 的 分 配 管理 
” 虚拟 机 存储 资源 的 管理 以 及 挂 载 存 储 资 源 到 虚拟 机 ; 
” 提供 快照 、 模 板 、 镜 像 的 管理 和 复制 ; 


” 网 络 资源 管理 ， 如 创建 虚拟 网 络 ， 把 虚拟 机 加 入 虚拟 网 络 ， 进 行 公有 或 者 
私有 IP 地 址 管理 ， 部 署 负 载 均衡 ， 防 火 墙 等 。 

作为 生产 环境 的 云 平 台 ， 在 不 同 的 场合 ， 物 理 主机 的 数量 极为 不 同 ， 小 到 几 台 
物理 主机 ， 大 到 分 布 在 全 球 各 地 的 多 个 数据 中 心 。 因 此 云 平 台 必须 具备 管理 不 同 规 
模 物理 主机 的 能 力 ， 但 是 存储 和 网 络 服务 的 范围 不 可 能 无 限 大 ，CloudStack 对 物理 
主机 进行 的 资源 域 规模 划分 ， 如 图 3-5 所 示 。 

其 包括 如 下 级 别 。 

(1) ， Host: 物理 主机 。 

(2) Cluster: 同 质 物 理 主机 集群 ， 在 该 集群 上 ， 共 享 存储 ， 虚 拟 机 可 以 进行 
热 迁 移 ， 物 理 主机 同 在 一 个 二 层 网 络 ， 使 用 相同 的 Hypervisor， 一 般 是 一 个 机 架 内 
范围 。Cluster 范 围 限 制 主要 取决 于 共享 存储 容量 大 小 ， 因 为 热 迁 移 要 求 在 共享 存储 
的 基础 上 进行 。 因 为 热 迁 移 特 性 和 HA 特性 (High Availability， 一 个 物理 主机 坏 掉 
之 后 ， 这 个 物理 主机 上 运行 的 虚拟 机 在 同一 个 Cluster 中 的 其 他 物理 服务 器 上 重启 运 
行 ) 有 各 种 诉求 ， 比 如 必须 是 相同 的 Hypervisor、 需 要 虚拟 机 的 系统 卷 在 共享 的 存 
储 上 ， 这 样 可 以 根据 需要 在 不 同 的 物理 主机 启动 这 个 虚拟 机 。 
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图 3-5 ”CloudStack 资 源 域 概念 


(3) Pod: Pod 是 比 Cluster 更 大 的 一 个 主机 集合 ，Pod 范 围 内 的 物理 主机 都 同 处 
于 一 个 二 层 网 络 内 ，Pod 的 范围 主要 受 限 于 二 层 网 络 的 范围 。Pod 内 可 以 是 同 质 的 物 
理 主机 ， 也 可 以 不 是 ; Pod 内 可 以 划分 为 几 个 Cluster， 每 个 Cluster 分 别 有 自 己 的 共享 
存储 ; 当然 ， 在 CloudStack 里 面 ， 并 没有 限制 说 ， 一 个 Pod 内 的 多 个 Cluster 不 能 共享 
同一 个 存储 。 如 果 在 Pod 内 不 做 虚拟 机 的 热 迁移 ， 则 Pod 内 不 同 Cluster 可 以 是 非 同 质 
的 Hypervisor， 也 就 是 每 个 Cluster 可 以 有 自己 的 Hypervisor。Pod 通 常 是 一 个 机 柜 ， 
Pod 对 最 终 用 户 并 不 可 见 ， 只 对 管理 员 可 见 。Pod 与 Pod 之 间 的 网 络 可 以 是 两 层 互 
通 ， 也 可 以 是 三 层 互通 。 

(4) Zone: 物理 隔离 的 主机 集合 ， 通 常 指 一 个 数据 中 心 ， 也 常常 指 一 组 物理 
主机 的 网 络 边界 ，Zone 之 外 就 是 外 网 了 ，Zone 可 以 有 自己 的 防火 墙 、 路 由 器 、VPN 
等 服务 。Zone 的 概念 等 同 于 Amazon 的 Availability Zone。Zone 之 内 并 不 要 求 是 一 个 
二 层 网 络 ， 可 以 是 多 个 二 层 网 络 。 对 于 最 终 用 户 来 说 ，Zone 是 一 个 可 见 的 资源 位 置 
概念 ，Zone 与 Zone 之 间 的 物理 资源 和 虚拟 资源 是 不 共享 的 ， 比 如 虚拟 机 模板 就 不 共 
享 ， 也 就 是 说 在 创建 虚拟 机 的 时 候 ， 必 须 显 式 地 指定 Zone 进行 创建 。 在 CloudStack 
中 ， 一 个 用 户 可 见 的 Zone 有 两 种 : 一 种 是 CloudStack 中 的 Public Zone， 对 所 有 租户 
都 是 可 见 的 ;还 有 一 种 Zone， 是 只 对 某 一 个 用 户 集 合 才 可 见 。 

(5) Region: 一 个 Region 实 际 上 就 是 一 个 CloudStack 管 辖 的 范围 。 多 个 Region 
就 需要 通过 其 他 软件 来 管理 多 个 CloudStack 了 。 一 个 Region 可 以 只 包含 一 个 Zone， 
也 可 以 是 多 个 ， 所 以 Region 范 围 理论 上 来 说 可 以 是 大 到 多 个 数据 中 心 ， 小 到 只 有 一 
个 Zone、 一 个 Pod、 一 个 Cluster。 

(6) Primary Storage: 虚拟 机 运行 需要 的 系统 卷 和 数据 卷 都 存放 在 Primary 
Storage， 因 为 要 支持 虚拟 机 热 迁移 、HA 等 特性 ， 因 此 往往 在 一 个 Cluster 内 共享 一 个 
Primary Storage， 也 可 以 几 个 Cluster 共 享 同 一 个 Primary Storage， 甚 至 大 到 一 个 Zone 
内 的 虚拟 机 共享 同一 个 Primary Storage; 但 是 不 会 出 现 一 个 Cluster 内 多 个 Primary 
Storage 的 情况 ， 从 软件 设计 来 说 ， 要 支持 跨 存 储 的 迁移 特性 会 麻烦 一 些 。 
CloudStack 的 Primary Storage 支 持 分 级 存储 ， 就 是 当 最 终 用 户 要 创建 虚拟 机 的 时 候 ， 
可 以 指定 在 何 类 存储 上 创建 虚拟 机 ， 以 满足 虚拟 机 对 存储 性 能 的 不 同 要 求 。 不 过 这 
意味 着 选择 不 同类 型 的 存储 ， 会 在 不 同 的 Cluster 创 建 虚拟 机 。 当 前 Primary Storage 支 
持 以 下 类 型 的 存储 ， 但 是 并 不 是 每 一 种 Hypervisor 都 支持 下 面 所 有 类 型 的 存储 : 

” iSCSI 


” NFS 

二 FC 

” Local Storage 

(7) Secondary Storage: 主要 用 于 存储 写 入 次 数 少 而 读 取 次 数 多 的 数据 ， 如 虚 
拟 机 模板 、ISO 镜 像 、 磁 盘 卷 快照 。Secondary Storage 作 用 范围 较 大 ， 往 往 是 一 
Zone 或 者 一 个 Region 部 署 一 个 Secondary Storage。 CloudStack 主 要 支持 NFS 存 储 作为 
Secondary Storage， 当 前 也 在 提供 Plugin 用 8 AWS 的 S3。 

针对 上 述 资源 划分 的 方法 ，CloudStack 的 物理 资 ee 在 一 个 Pod 内 
包含 几 个 Cluster， 每 个 Cluster 有 数 个 物理 服务 器 ，Pod 通 交换 机 进行 汇集 ， 接 
入 到 3 层 核 心 交 换 机 。 一 个 Zone 内 共享 一 个 Secondary Storage， 一 个 Cluster 共 享 一 个 
Primary Storage ( 见 图 3-6) 。 
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图 3-6 ”CloudStack 概 念 示 意图 


作为 一 个 面向 商用 交付 的 云 管理 软件 ， 需 要 兼容 多 种 不 同 的 Hypervisor， 这 些 
Hypervisor 可 能 同时 部 署 ， 也 可 能 一 种 生产 环境 只 部 署 一 种 Hypervisor。 因 此 ， 
Management Server 需要 能 够 支持 异 构 多 Hypervisor。 对 于 VMware 的 接 入 ， 
CloudStack 主要 是 通过 vCenter 的 API 来 进行 管理 ， 其 高 级 特性 ， 如 HA、 
LiveMigration 等 实际 由 vCenter 来 实现 ， 因 此 较为 成 熟 ; 同样 地 ， 对 于 整个 
CloudStack 可 以 管理 的 系统 规模 来 说 ， 因 为 多 了 一 层 vCenter 管 理 层 ， 其 规模 可 以 较 
容易 达到 更 大 的 规模 ， 比 如 1 万 物理 主机 。 而 对 于 KVM， 由 于 没有 vCenter 这 样 的 虚 
拟 化 管理 层 ， 是 通过 在 KVM 主 机 部 署 一 个 Agent，Agent 再 去 调用 Libvirt 的 接口 来 进 
行 的 ， 因 此 一 些 vCenter 有 的 高 级 特性 (DRS、FT、HA、Live Migration 等 ) 实现 就 
相对 晚 一 些 ， 也 没有 这 么 成 熟 。CloudStack 要 进行 KVM 的 管理 ， 由 于 KVM 本 身 没 有 
Cluster 的 概念 ， 也 缺少 vCenter 的 这 样 虚 拟 化 管理 层 ， 因 此 其 管理 功能 都 集中 到 了 
CloudStack 的 Management Server， 因 此 针对 KVM 的 整体 系统 规模 很 难 达 到 接 入 
vCenter 同 等 的 系统 规模 ( 见 图 3-7) 。 
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图 3-7 ”CloudStack 兼 容 多 种 不 同 的 Hypervisor 

在 大 规模 的 生产 环境 中 ， 一 般 至 少 是 在 一 个 Pod 或 者 Zone 级 别 采 用 同一 种 
Hypervisor， 在 一 个 Pod 内 的 不 同 Cluster 采 用 不 同 的 Hypervisor 可 能 性 非常 小 ， 很 多 场 
景 是 在 整个 CloudStack 的 管理 域 只 采用 一 种 Hypervisor， 无 论 对 于 管理 还 是 维护 工作 
都 会 相对 简单 。 


通过 Management Server 的 Cluster 部 署 可 以 管理 更 大 的 规模 〈 见 图 3-8) 。 由 于 当 
前 Management Server 主 要 采用 MySQL 作 为 数据 存储 的 后 端 ， 而 MySQL 的 Cluster 并 
不 是 非常 成 熟 和 好 用 ， 因 此 Management Server 当 前 的 规模 主要 是 通过 扩展 多 个 
Management Server 来 进行 的 ， 在 多 个 Management Server 上 提供 负载 均衡 ， 数 据 库 则 
采用 主 备 方式 提供 可 靠 性 ， 系 统 的 瓶颈 最 终 存在 于 数据 库 的 性 能 。 当 然 CloudStack 
可 以 把 后 端 数据 存储 改 为 其 他 提供 商用 集群 能 力 的 数据 库 ， 但 是 成 本 就 上 去 了 。 
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图 3-8 Management Server 的 Cluster 部 署 

CloudStack 可 以 在 一 个 Region 内 进行 多 数据 中 心 的 管理 ， 一 个 数据 中 心 可 以 部 
署 一 个 到 多 个 Zone， 多 数据 中 心 的 管理 主要 是 管理 这 些 数据 中 心 的 Zone，Zone 之 间 
要 求 用 低 时 延 网 络 互 联 ( 见 图 3-9) 。CloudStack Management Server 需 要 和 部 署 在 物 
理 主 机 的 Agent 或 者 VCenter/XenServer 虚 拟 化 管理 软件 通信 ， 因 此 跨 数 据 中 心 管理 网 
络 必须 联通 且 管 理 网 络 为 内 网 ， 也 可 以 把 vCenter 直 接 对 应 到 CloudStack 的 Zone 概念 
中 有 
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图 3-9 ”CloudStack 多 数据 中 心 管理 
从 理论 上 来 说 ， 要 求 Management Server 可 以 跨 数 据 中 心 管理 Zone 是 可 以 的 ， 但 
是 实际 部 署 的 时 候 需 要 考虑 系统 的 健壮 性 ， 比 如 : 如 果 部 署 Management Server 的 数 
据 中 心 不 可 访问 ， 则 所 有 数据 中 心 的 资源 都 处 于 不 可 管理 状态 ， 因 此 一 般 会 要 求 把 
Management Server 部 署 在 两 个 数据 中 心 ， 数 据 中 心间 数据 库 MySQL 做 实时 备份 。 


3.2.3 ”CloudStack 的 虚拟 机 管理 


CloudStack 提 供 基本 的 虚拟 机 管理 能 力 ， 包 括 虚 拟 机 的 生命 周期 管理 (创建 、 
启动 、 停 止 、 重 启 、 删 除 ) ， 以 及 通过 VNC 远 程 访问 虚拟 机 ， 查 看 虚拟 机 状态 及 虚 
拟 机 弹性 伸缩 见 图 3-10) 。 
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图 3-10 ”CloudStack 虚 拟 机 管理 能 力 
3.2.4 ”CloudStack 的 块 存储 管理 


CloudStack 提 供 虚 拟 机 块 存储 管理 ， 可 以 为 虚拟 机 做 卷 的 CRUD， 以 及 从 卷 创 建 
模板 和 快照 进行 卷 快照 和 模板 的 管理 〈 见 图 3-11) 。 
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图 3-11 ”CloudStack 块 存储 管理 


3.2.5 ”CloudStack 的 虚拟 网 络 


一 个 典型 的 Zone 内 的 物理 组 网 如 下 ，Management Server 和 数据 库 MySQL 部 署 在 
一 个 管理 网 络 ， 所 有 Pod 内 的 物理 主机 和 存储 也 都 需要 连接 到 这 个 管理 网 络 ， 这 样 
Management Server、vCenter/XenServer/Agentc、 存 储 管理 软件 之 间 才 能 够 通过 消息 
总 线 进行 通信 。 事 件 和 计量 数据 也 可 以 通过 管理 网 络 汇总 到 UsageServer。 在 管理 网 
络 上 部 署 Secondary Storage ， 用 于 存储 虚拟 机 模板 、 快 照 、ISO 镜 像 等 ( 见 图 3- 
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图 3-12 ”Zone 内 物理 组 网 

如 下 为 一 个 Pod 内 的 典型 物理 网 络 连 接 。Pod 交 换 机 一 般 会 是 一 对 ， 所 有 Pod 内 
的 物理 主机 都 由 上 行 口 连接 到 两 个 Pod 交 换 机 ， 交 换 机 的 上 行 口 推 荐 10Gb 带 宽 。 物 
理 主机 和 存储 都 连接 到 管理 网 络 ， 同 时 物理 主机 还 要 配置 租户 用 的 一 个 或 者 多 个 网 
络 。 如 果 租 户 网 络 需要 连接 外 网 ， 则 物理 主机 也 需要 连接 到 一 个 外 网 网 络 ( 见 图 3- 
13) ia 

对 于 CloudStack 的 租户 来 说 ， 其 租户 网 络 只 能 在 一 个 Zone 内 ，Zone 之 间 的 同一 
个 租户 的 网 络 只 能 通过 路 由 的 方式 访问 。 

CloudStack 给 最 终 用 户 提供 三 种 类 型 的 虚拟 网 络 〈 见 图 3-14) 。 
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图 3-14 ”CloudStack 的 多 租户 虚拟 网 络 


(1) 共享 网 络 : 所 有 不 同 账户 的 虚拟 机 都 在 一 个 共享 网 络 内 ， 虚 拟 机 之 间 通 
过 安全 组 进行 隔离 。 

(2) 隔离 网 络 : 为 租户 提供 二 层 隔 离 的 虚拟 网 络 。 租 户 内 的 虚拟 机 可 以 分 布 
在 不 同 的 Pod 内 。 

图 3-15 示 例 了 Guest1 和 Guest2 两 个 隔离 网 络 ，IP 地 址 可 以 重 去 。 
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图 3-15” ”IP 地址 可 以 重 友 的 虚拟 网 络 

(3) 运行 时 网 络 : 所 有 定义 的 虚拟 网 络 资源 ， 只 有 当 第 一 个 虚拟 机 加 入 这 个 
网 络 的 时 候 才 进行 创建 ， 当 最 后 一 个 虚拟 机 删除 的 时 候 ， 虚 拟 网 络 资源 也 被 回收 。 

CloudStack 可 以 为 虚拟 网 络 配置 网 络 服务 ， 包 括 : DHCP、DNS、 源 地 址 NAT、 
静态 NAT、 端口 转发 、 负 载 均 衡 、 防 火 墙 、VPN、 为 指定 使 用 的 某 种 网 络 设备 提供 
网 络 服务 、 指 定 使 用 某 个 物理 网 络 。CloudStack 默 认为 虚拟 网 络 创建 一 个 系统 VM ， 
包含 DHCP、SNAT、Router 三 个 功能 ， 确 保 租户 网 络 内 的 虚拟 机 自动 分 配 卫 ， 能 
通过 SNAT 和 Router 访 问 外 网 。 


CloudStack 也 支持 复杂 多 层 应 用 的 虚拟 网 络 ， 图 3-16 为 一 个 典型 的 多 层 Web 应 
用 ， 应 用 分 为 数据 库 层 、App 层 和 Web 层 ， 每 一 层 都 有 多 个 虚拟 机 ， 每 一 层 通 过 
CloudStack 的 Virtual Router 虚 拟 机 提供 网 关 功 能 ，Web 层 服务 和 外 网 之 间 部 署 防火 墙 
和 Load Balance 网 络 服务 。 
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图 3-16 ”CloudStack 支 持 复杂 多 层 应 用 虚拟 网 络 


3.3 Cloud OS7) : OpenStack 


2010 年 7 月 ，NASA 与 RackSpace 一 拍 即 合 ，NASA 和 贡献 Nova，RackSpace 拿 出 
Swift， 创 立 OpenStack。 经 过 三 年 的 发 展 ，OpenStack 已 经 成 为 当前 最 炙手可热 的 云 
计算 开源 社区 。 

OpenStack 是 一 个 旨 在 为 公有 云 及 私有 云 的 建设 与 管理 提供 软件 的 开源 项 目 。 从 
2012 年 推出 到 2014 年 初 ，OpenStack 已 经 吸引 了 超过 190 家 公司 和 超过 15 000 名 开发 
者 。 让 它 在 短 时 间 内 声名 远 播 的 是 其 拥有 着 IBM、HP、AT&T、Red Hat、SUSE、 
Canonical、Cisco、Dell、VMware、 华 为 这 样 的 强力 支持 者 。 

越 来 越 多 的 企业 乐于 使 用 那些 不 是 以 单一 厂商 主导 的 云 计算 基 础 设施 ， 开 源 软 
件 项 目 可 以 帮助 他 们 摆脱 对 某 类 产品 的 强大 依赖 ， 无 论 从 开放 性 、 灵 活性 还 是 成 本 
上 来 说 ， 开 源 软件 都 是 一 个 非常 好 的 选择 。OpenStack 秉 承 开 放 的 理念 ， 获 得 了 用 户 
和 开发 者 的 广泛 认同 ， 已 成 为 业界 最 有 影响 力 和 发 展 前 景 的 云 计算 开源 项 目 。 


3.3.1 ” OpenStack 的 总 体 架构 


OpenStack 是 一 个 松 耦 合 的 架构 ， 由 一 组 离散 的 服务 组 成 〈 见 图 3-17、 表 3- 
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图 3-17 ”OpenStack 的 总 体 架构 
表 3-2 ”OpenStack 由 一 组 离散 的 服务 组 成 
服 | 服务 名 ee 
描述 
务 称 
提供 web GUI 与 各 个 OpenStack 服 务 进行 交互 ， 使 得 用 户 能 够 
GUI | Horizon 进行 虚拟 机 管理 、 卷 管理 、 虚 拟 网 络 管理 、 分 配 IP 地 址 、 挂 


身 | Keystone 


载 卷 、 虚 拟 机 加 入 虚拟 网 络 、 设 置 访问 控制 策略 等 


向 所 有 其 他 的 OpenStack 服 务 提供 鉴 权 和 认证 服务 ， 提 供 基于 


份 RBAC 的 用 户 管理 、 服 务 目 录 管 理 
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像 a 提供 虚拟 机 的 镜像 管理 ，Nova 必 须 依赖 虚拟 机 镜像 来 启动 虚 
服 拟 机 

务 

网 用 于 创建 和 管理 虚拟 网 络 ， 向 OpenStack 其 他 服务 提供 网 络 连 
络 ee 接 即 服务 的 能 力 ; 可 以 在 虚拟 网 络 创建 虚拟 端口 ， 然 后 把 虚 
服 拟 机 插入 到 这 个 虚拟 的 网 络 端口 上 ; Neutron 具 备 插件 化 的 架 
务 构 以 支持 现实 世界 林林总总 的 网 络 设备 和 技术 


计 | Ceilometer | 提供 OpenStack 的 监控 和 计量 服务 ， 用 于 计 费 、 统 计 、 标 杆 比 

量 对 、 弹 性 伸缩 等 

监 

控 

服 

务 

编 

拓 提供 HOT (Heat Orchestration Template) 模板 和 兼容 AWS 
Heat CloudFormation 模 板 的 应 用 编排 引擎 ; 既 提供 OpenStack 的 

服 A 

. API， 也 提供 AWS 兼 容 的 API 

务 


实际 上 ，OpenStack 一 开始 的 架构 并 不 是 如 图 3-17 所 显示 这 样 的 ， 也 是 一 步 一 步 
快速 演进 过 来 的 。OpenStack 基 本 上 保持 每 半年 发 布 一 个 版 本 的 节奏 ， 在 快速 进化 中 
不 断 优化 架构 和 增加 服务 能 力 ， 表 3-3 展 示 了 OpenStack 的 进化 能 力 。 

表 3-3 ”OpenStack 的 发 展 


版 本 | 发布 时 间 包含 的 服务 

2010 年 10 

Austin Nova, Swift 
月 
2011 年 2 

Bexar Nova, Glance, Swift 
月 
2011 年 4 

Cactus 月 Nova, Glance, Swift 
2011 年 9 

Diablo 月 Nova, Glance, Swift 

Essex 2012 年 4 Nova, Glance, Swift, Horizon, Keystone 


一 一 一 月 


2012 年 9 

Folsom 月 Nova, Glance, Swift, Horizon, Keystone, Quantum, Cinder 
2013 年 4 

Grizzly 月 Nova, Glance, Swift, Horizon, Keystone, Quantum, Cinder 


2013 年 10 | Nova, Glance, Swift, Horizon, Keystone, Neutron, Cinder, 


Havana . 
月 Heat, Ceilometer 


OpenStack 社 区 把 项 目 分 成 三 类 ， 能 够 在 一 个 版 本 中 发 布 的 项 目 称 为 Core Project 
(核心 项 目 ) 。 要 进入 核心 项 目 ， 首 先进 入 到 孵化 项 目 列表 中 ， 经 过 和 孵化、 评估 
后 ， 达 到 核心 项 目的 要 求 才 会 批准 进入 到 下 一 个 版 本 进行 发 布 〈 见 图 3-18) 。 任 何 
人 都 可 以 递交 想法 和 项 目 到 OpenStack 社 区 ， 由 社区 评估 认为 将 来 OpenStack 发 展 必 
须要 有 的 能 力 ， 会 批准 进入 孵化 项 目 阶 段 。 


Emerging Projects 批准 是 否 进入 
孵化 项 目 
Pre-Release 
RC1(Release) Milestone-proposed 
JIncubated Projects E 迭代 里 
ij 批准 是 否 进入 a 克 代 里 程 碑 
OpenStack Stable Release < 
Core 
Pr 下 一 个 Release 计 划 阶 段 : Milestone-proposed 
Core Projects 1. 持 续 4 周 ; 迭代 里 程 碑 


2. 互 相 讨论 下 一 个 迭代 开发 内 容 ; 
3. 第 3 周 递交 特性 Blueprint( 简 单 描 
述 做 什么 如何 做 )， 创 建 Session 


供 Design Summit 讨 论 ; 

4.Design Summit 开 3 天 会 ， 分 小 

组 讨论 各 个 BluePrint， 批 准 的 

进入 办 代 ， 使 用 Launchpad 进 入 Milestone-proposed 
a 氨 代 于 往生 


辅助 项 目 
rs > 


Supporting Projects( 文 档 、CD 


Gating Projects( 测 试 项 目 ) 


图 3-18 ”OpenStack 的 运作 过 程 
每 个 正式 发 布 的 核心 项 目 ， es 下 一 个 版 本 开始 前 的 4 周 
内 收集 各 种 需求 、 创 建设 计 和 讨论 ， 然 后 进入 下 一 个 版 本 的 开发 ， 一 般 一 个 版 本 分 


成 3 个 里 程 碑 ， 以 6 个 月 一 个 版 本 的 节奏 不 断 滚动 向 前 。 
OpenStack 能 够 快速 进化 ， 除 了 社区 参与 人 员 和 厂家 众多 ,与 架构 也 有 着 莫大 的 
关系 。OpenStack 的 架构 设计 遵循 这 些 原则 : 


| 


pa 


~ 


i 


La 


~ 


伸缩 性 和 弹性 是 我 们 的 主要 目标 ; 

任何 会 约束 我 们 目标 的 特性 都 是 可 选 的 ; 

一 切 都 应 该 是 异步 的 ， 如 果 不 能 异步 ， 那 么 参考 第 2 条 进行 设计 ; 

所 有 必 选 服务 部 件 必须 是 可 以 水 平 扩展 的 ; 

总 是 使 用 Shared Nothing 的 架构 或 者 Sharding 技 术 〈 切 分 技术 ) ， 如 果 做 不 
到 Shared Nothing 或 者 Sharding， 那 么 参考 第 2 条 进行 设计 ; 

一 切 都 应 是 分 布 式 的 ， 特 别 是 处 理 逻 辑 ; 

接受 最 终 的 一 致 性 ， 尽 可 能 地 贯彻 这 一 原则 ; 

测试 一 切 ， 所 有 递交 的 代码 都 应 进行 测试 。 


下 面 我 们 通过 典型 服务 部 件 来 看 OpenStack 为 什么 能 够 吸引 如 此 多 的 人 参与 ， 并 
快速 进化 。 


3.3.2 ”OpenStack 的 计算 服务 : Nova 


Nova 的 架构 如 图 3-19 所 示 。 


Nova-API 
; |Nova-Api- Nova- 
GQ) API Layer Nova-Api | a (ee 7 


aa 
> > p> >、 
GQ) Conduct and A Conductor 
Scheduler 
ss 


Layer 


(G3) Hypervisor | Nova-Compute | [Nova-Compute| [Nova-Compute Nova-Compute 


layer VMwareVCDrivet ESxXidriver KVM libvert driver 了 HyperY 


图 3-19 ”Nova 的 架构 


各 模块 功能 如 表 3-4 所 示 。 


表 3-4 各 模块 功能 


模块 功能 
Nova-Api | 提供 NOVA 服 务 的 OpenStack API 接 口 
Nova-Api- Ws i 
i 以 Cell 方 式 大 规模 部 署 Nova 服 务 时 ，Nova 提 供 的 API 接 口 
e 
Nova- 提供 Cells 级 联 功 能 ， 主 要 作用 是 以 Cells 为 单元 提供 超大 规模 的 能 
Cells 力 ， 当 部 署 了 Cells 服 务 的 时 候 ，Cells 服 务 完成 Cell 这 一 层 的 调度 
Nova- 是 一 个 或 多 个 AZ (Availability Zone) 的 调度 器 ， 用 于 在 一 个 AZ 或 
Scheduler | 多 个 AZ 中 寻找 符合 创建 虚拟 机 条 件 的 物理 主机 。 一 个 Cells 中 可 以 包 
Scheduler | 含 多 个 AZ 
Nova- 在 每 一 个 物理 主机 中 都 部 署 Nova-Compute 服 务 ， 此 服务 用 于 该 物理 
Compute “| 主机 节点 的 虚拟 机 操作 
Nova-Condutor 主 要 是 屏蔽 掉 数 据 库 的 操作 ， 使 得 每 一 个 部 件 不 需要 
OVa- 
a 直接 和 数据 库 打 交道 ， 数 据 库 可 以 水 平 扩展 而 不 影响 其 他 服务 访问 
OndUCtLOT 
数据 库 的 能 力 

AMQP 模块 之 间 的 消息 总 线 ， 社 区 用 RabbitMQ 的 比较 多 


下 面 以 Grizzly 版 本 的 源 代码 分 析 ， 从 创建 虚拟 机 的 过 程 分 析 其 源 代 码 就 可 以 看 
出 Nova 在 架构 和 实现 上 的 开放 扩展 能 力 。Grizzly 版 本 创建 虚拟 机 流程 和 Havana 及 之 
后 版 本 有 所 不 同 ，Grizzly 版 本 是 从 Nova-Api 和 直接 到 Nova-Scheduler 服 务 ， 而 Havana 
版 本 则 先 到 Nova-Conductor，Nova-Conductor 再 调用 Nova-Scheduler 进 行 调度 ， 但 是 
并 不 妨碍 我 们 对 Nova 开 放 性 及 扩展 能 力 的 理解 。 

在 源 代 码 中 ， 首 先 请 求 被 传递 到 Servers.py 这 个 脚本 文件 的 Controller 类 的 create 
为数 ， 这 个 函数 把 消息 参数 全 部 解析 出 来 ， 然 后 传送 给 被 调用 的 函数 。 创 建 虚 拟 机 
的 请 求 携带 了 几 个 参数 ， 在 所 有 的 函数 调用 和 处 理 中 都 会 一 路 传递 下 去 ， 可 以 用 于 


自 定义 扩展 能 力 ， 如 user_data、metadata、injected_files、scheduler_hints ( 见 图 3- 
图 3-21) 。 


Nova.conf 配 置 中 设置 
compute_api_class=nova.comput 


创建 虚拟 机 请 求 http://..…/tenant_id/servers/..… 


© API 
有 消息 请 求 发 送 到 NOVA 服 务 ， 由 python 脚 本 
NOVA-API Servers.py class Controller def create(self, req, body): (9 .py 的 Controll 行 处 理 
NOVA-API Apipy class API J 


def create(self, context, instance 
image bot re 2 -None, Ee id=None, 


Servera py 的 ereate 机 数 所 消 息 讲求 中 的 参数 提取 出 来 以 后， 调用 
A 带 有 解析 后 的 参数 


汪汪 过 人 本 access ip : 
access_ip_v6=None, requested_networks=None, confi g_drive=None, ©@, 
auto_disk_config=None, scheduler_hints=None): 


A 
人 
络 创 建 权限 ) 的 策略 进行 检查 
def _create_instance(self context, instance_type， YY 
image_href kernel id, ramdisk id， 
a 人 Nova-Compute 


display_name, display_description, 
key_name, key_data, security_group, 


availability_zone, user_data, mety 信人 主 和 i 
injected_files, admin_password,| 由 东 光 下 ells 时 ， 
0 四 调用 API 类 的 _create_instanse 内 ja | 直接 把 请 求 发 到 Scheduler 服 务 


requested_networks, config_drive, 
block_device_mapping, auto_disk_config, 
reservation_id=None, scheduler_hints=None) 


图 3-20 ”Nova API 创 建 虚拟 机 的 过 程 1 


_create_instance(self... 


NOVA-API Api.py class API 


(instances,request_spec, filter_properties)=/ | 
7 lo 
self.validate_ and provision instance(context,instance type, 2 1 Nova-API 
image_href,kernel id,ramdisk id,min 4 count, 和 f 


F 合 并 到 Request_spec 


acess_ip v6,requested networks,config_drive, 
block device_ mapping,auto_disk_config, 
Teservation_ id,scheduler_ hints) 


ilability_zone, 
ss_ip_v4, Q) 


| 
Nova-Scheduler 
self.scheduler rpcapi.run instance(context, 
request_spec=request_spec, 
admin password=admin password,Injected files=injected files, Y 
requested_networks=requested_networks,is_first_time=True, Nova-Compute 


filter.proceertier=filter.proceertier) 


创建 虚拟 机 的 主流 程 如 上 图 ， 当 系统 
中 不 需要 Cells 时 ，API 服 务 直 接 把 请 
求 发 到 Scheduler 服 务 


图 3-21 NovaAPI 创 建 虚拟 机 的 过 程 2 
Nova-API 对 参数 进行 检查 合并 等 处 理 后 ， 调 用 Nova-Scheduler 去 选择 可 以 分 配 
ls 如 果 有 Nova-Cells 服 务 ， 创 建 虚拟 机 的 请 求 会 先 到 Nova-API Cell， 
然后 通过 Nova-Cells 服 务 选择 Cell 之 后 ， 再 传递 到 Nova-Scheduler ( 见 图 3-22) 。 


Nova-Scheduler 接 受到 请 求 之 后 ， 会 通过 scheduler-driver_opt 选 项 获得 配置 的 具 
体 调度 器 Driver 是 哪 一 人 个， 默认 的 调度 器 Driver 是 
nova.Schedulerfilter scheduler.FilterScheduler， 这 个 默认 的 调度 器 是 可 以 被 替换 的 。 


run_instance(self, ctxt, request_spec, admin_password, injected_files, 


requested_networks, is_first_time, filter_properties) 
Nova-API Nova-API Cell 


Nova-Cells 


NOVA- Manager.py class SchedulerManager run_instance(self, ... 
Scheduler J 


defrun_instance(self, context, request_spec, admin_password, 
injected_files, requested_networks, is_first_time, 
filter_properties) 


Teturn self.driver. schedule_run_instance(context, 
Tequest_spec, admin_password, injected_files, 
requested_networks, is_first_time, filter_properties) 


Nova-Scheduler 


Scheduler driver_ opt = cfg.StrOpt('scheduler_driver', 
default='nova.scheduler.filter_scheduler.FilterScheduler 
help= Default driver to use for the scheduler) 


图 3-22 ”可 配置 的 Nova Scheduler 


通过 分 析 源 代码 ， 我 们 可 以 看 到 调度 器 有 以 下 定制 方法 〈 见 图 3-23) 。 


扩展 方法 2: 提供 自己 的 
xxxHostManager， 即 自己 
cfg.StrOpt('scheduler host_ manager', 提供 管理 主机 1 组 的 方法 ， 
default='nova.scheduler.host_ manager.HostManager 只 要 配置 为 xxxHostManager 


| 即 可 
DD 继承 / 重 载 


XXX_host_ manager.py / 
class XXXHostManager 


driver.py / , HostManager 
lass Schedul ost_manager.py — 
人 class HostManager mon osu 
(系统 缺 省 配置 的 物理 主机 管理 器) 一 一 EE 
继承 / 重 方案 2: 继承 / 一 ee 
载 基 类 重 载 Scheduler ss | 一- PE 了 
方法 as5j 人 Iacs5j osi6| 
Ee] meas) 
filter_scheduler.py/class [ \ 
FilterScheduler 物理 主机 过 滤器 插件 物理 主机 权重 插件 
(系统 默认 配置 ) 
affinity _ filter.py | 
ilabili filter: CO0SL 
方案 1: 继承 / 重 载 os lity_zone_filter.py 人 
XXX _scheduler.py/ ; 
class xxxScheduler 人 XXX Filter.py XXX weight.py 
到 /扩展 方法 1: 提供 并 配置 为 自己 的 3 “扩展 方法 3: 提供 并 配置 为 自己 的 物理 主机 过 
“| xxxScheduler( 两 种 继承 / 重 载 方案 )， 滤器 插件 或 者 主机 权重 插件 ， 多 个 过 滤器 插件 
相当 于 给 汽车 更 换 自己 造 的 发 动机 之 间 只 要 没有 互 斥 关系 ， 可 以 并 存 


图 3-23 ”Nova Scheduler 的 可 扩展 机 制 1 


一 种 扩展 方法 是 不 用 默认 的 filter_schedulerpy 的 class FilterScheduler ， 自 己 完 
全 可 以 从 driver.py/class Scheduler 继 承 并 实现 自己 的 类 。 

第 二 种 扩展 方法 是 不 使 用 默认 的 物理 主机 状态 管理 类 host_manager.py/class 
HostManager， 自 己 从 HostManager 继 承 或 者 重 载 实现 xxxHostManager 类 进行 物理 主 
机 状态 的 管理 。 

第 三 种 方法 是 提供 自己 的 调度 过 滤器 或 者 权重 过 滤器 插件 ， 参 考 
affinity_filter.py 或 ram.py 实 现 自己 的 插件 ， 在 部 署 的 时 候 配 置 为 自己 的 插件 即 可 。 

除了 上 面 的 三 种 方法 ， 调 度 器 还 在 各 种 地 方 提供 了 扩展 性 。 

例如 第 四 种 方法 ， 其 在 物理 主机 中 定义 一 个 主机 组 Group， 然 后 在 Scheduler 
Hint 中 带 上 这 个 Group， 也 可 以 实现 可 定制 的 调度 策略 。 

第 五 种 方法 是 在 Scheduler Hint 中 增加 自 定 义 的 调度 条 件 ， 在 调度 的 时 候 通过 自 
己 的 Filter 插 件 增加 调度 能 力 。 

第 六 种 方法 是 在 创建 虚拟 机 请 求 的 AZ 参 数 中 通过 “AZ: host” 的 方式 指定 主机 进 
行 虚拟 机 的 创建 。 

第 七 种 方法 是 调度 器 始终 监控 一 个 调度 配置 json 文 件 ， 0 
化 ， 则 动态 加 载 这 个 调度 配置 文件 ， 改 变 和 调整 调度 策略 ， 因 此 可 以 动态 修改 这 
json 文 件 修改 调度 策略 〈 见 图 3-24) 。 


def schedule_run ER context, request : es 
}_password, injected 1 
ee networks, is_first t 让 本 
filter_ properties) 


def _ schedule(self context request_spec,filter properties， 
instance_uuids=None) 


扩展 方法 75 调度 器 始终 监控 一 个 调度 配置 json 文 件 ， 如 果 
i 则 动态 加 载 这 个 调度 配置 文件 ， 改 变 


ER 》 
config_options = self. get_configuration options(> 一 也 


Bn 区 2 下 二 展 方法 4: 定义 HOST 的 G Scheduler Hi 
filter_properties['group_hosts'] = configured hosts + group_host | 和 村 个 i i 


件 可 用 ， 也 同 以 加 其 他 的 插 伯 进行 不 同 过 站 处 理 ) 
filter_properties. update 人 ff context': Context, 


‘request_ spec': request_spec, /下 国 扩展 方法 5， 在 Scheduler Hint 中 增加 自 定义 属性 ， 所 有 


onfige opt on config optio \ 
a 、 ) 这 些 参数 均 可 以 作为 自 定义 filter 的 属性 


ignore_hosts — fil ies.get(ignore_hosts', 
i 扩展 方法 6， 在 AZ:host 中 增加 必 移 的 主机 ， 
ee OpenStack 已 经 提供 

理 机 制 。 


| 物理 主机 过 滤器 插件 


affinity_filter.py 
availability_ zone filter.py 


| HW XXX Filter.py 


图 3-24 ”Nova Scheduler 的 可 扩展 机 制 2 


从 NOVA Scheduler 上 述 机 制 我 们 可 以 看 出 ，OpenStack 为 系统 的 开放 性 和 扩展 型 
引入 各 种 可 能 的 扩展 方案 ， 如 driverplugin/ 静 态 配 置 /动态 配置 /参数 自 定义 。 
OpenStack 本 身 就 已 提供 了 多 种 调度 过 滤器 ， 并 在 不 断 丰 富 中 ， 这 些 过 滤器 只 要 不 是 
互 斥 的 ， 均 可 以 组 合 使 用 〈 见 表 3-5) 。 

表 3-5 各 插件 的 功能 和 使 用 方法 


插件 名 称 功能 使 用 方法 


设置 主机 能 够 分 配 虚 

拟 机 的 vCPU/pCPU 的 

CoreFilter 比例 ， 超 过 比例 就 不 | 全 局 配置 数据 
能 分 配 虚 拟 机 了 ; 人 多 

许 设 置 为 超 分 配 


针对 某 个 Host 
Aggregate 单 独 设置 主 
机 能 够 分 配 虚 拟 机 的 


针对 HostAggregate 设 置 一 个 
AggregateCoreFilter 站 ee 上 
a li 置 cpu_allocation_ratio=10 
虚拟 机 了 ; 没有 设 
置 ， 默 认 就 用 全 局 的 
CoreFilter 的 配置 数据 


AggregateInstanceExtra | 在 指定 的 需要 在 HostAggregate 打 上 flavor 
SpecsFilter HostAggregate 中 选 定 | 的 对 应 标签 ， 就 是 


一 个 主机 分 配 虚 拟 机 | HostAggreagate 和 flavor 要 设置 相 
同 的 metadata (key,value) ， 比 
如 两 个 主机 分 配 虚 拟 机 个 都 增加 
storage=DSWare 的 key-value 
metadata， 则 表明 只 在 存储 为 


Dsware 的 主机 分 配 虚拟 机 规格 为 


flavor 的 虚拟 机 
在 指定 的 
HostAggregate 增 加 一 个 metadata 
AggregateMultiTenancy | HostAggregate 中 只 和 和 
ey value) ， 
Isolation 许 给 某 个 租户 分 配 虚 
filter_ tenant id=xxx 
拟 机 
和 CoreFilter 类 似 ， 只 
RamFilter 、 上 参考 CoreFilter 
不 过 针对 的 是 内 存 
和 AggregateCoreFilter 
AggregateRamFilter 类 似 ， 只 不 过 针对 的 | 参考 AggregateCoreFilter 
是 内 存 
| 允许 所 有 的 HOST 参 
AllHostsFilter 
加 分 配 


AvailabilityZoneFilter 


ComputeCapabilities 
Filter 


ComputeFilter 


DiskFilter 


只 允许 在 创建 虚拟 机 
参数 中 带 的 
Availability Zone 内 的 
那些 Host 上 分 配 虚 拟 
机 


用 于 过 滤 满 足 Flavor | 如 
的 extra specs 条 件 的 ”| AggregateInstanceExtraSpecsFilter 
主机 就 要 用 到 extra_specs 


所 有 能 用 能 操作 的 主 
机 都 可 以 分 配 虚 拟 机 


默认 需要 配置 该 过 滤器 


根据 磁盘 分 配 比例 过 | 在 nova.conf 中 配置 


DifferentHostFilter 


GroupAntiAffinity 
Filter 


滤 能 够 分 配 的 虚拟 
机 ， 超 过 比例 就 不 能 
分 配 了 (允许 配置 为 
超 分 配 ) 


指定 不 要 和 某 些 虚拟 
机 实例 共享 主机 ， 可 
以 用 于 互 斥 的 分 配 场 
景 下 


指定 不 要 在 某 个 组 内 
的 所 有 HOST 上 分 配 

虚拟 机 ， 可 以 用 于 互 
斥 的 分 配 场景 下 


disk_allocation_ratio=1.0 


在 Scheduler hint 中 增加 一 个 
hint‘os:scheduler_hints’: 


{‘different host’: [‘vm1’, ‘vm2’] 


在 Scheduler hint 中 增加 一 个 
hint‘os:scheduler_hints’: {‘group’: 
[‘host1’, ‘host2’] 


ImagePropertiesFilter 


根据 镜像 属性 过 滤 主 
机 ， 主 要 的 属性 包括 
CPU 架构 ， 
Hypervisor 的 类 型 ， 
VM_Mode[Hypervisor 
application binary 
interface (ABI) ] 等 


glance image-update img-uuid -- 
property architecture=arm -- 


property Hypervisor_type=qemu 


在 管理 员 指 定 的 一 些 


需要 在 no Va .conf 配 置 is ola 


ted_hosts=serverl,server2 
isolated_ images=342b492c-128f- 


IsolatedHostsFilter 孤立 的 主机 中 创建 特 
We 4a42-8d3a- 
定 镜像 的 虚拟 机 
c5088cf27d13,ebd267a6-ca86- 
4d6c-9a0e-bd132d6b7d09 
JsonFilter 在 Schedluer hint 中 带 | 如 设置 这 样 的 运算 条 件 


上 json 脚 本 ， 选 出 满 
足 脚本 运算 规则 的 主 
机 分 配 虚 拟 机 


os:scheduler_hints’: { “query”: 


‘[“>=”,”$free_ram_mb”,1024] 


不 再 对 已 经 尝试 分 配 
虚拟 机 但 是 失败 的 主 
机 再 次 进行 选择 ， 只 
RetryFilter 有 当 nova.conf 中 人 允许 | scheduler_max_attempts>0 
调度 失败 时 重新 调度 
的 配置 有 效 时 ， 这 个 
名 标 才 起 作用 
scheduler hint 中 加 上 same_host 的 
设置 ‘os:scheduler_hints’: { 
ee 在 指定 虚拟 机 所 在 主 | ‘same_ host*: [‘a0cf03a5-d921- 
机 上 分 配 虚拟 机 4877-bb5c- 
86d26cf818e1’,‘8c19174f-4220- 
44f0-824a-cdleeef10287’], } 
如 下 为 在 192.18.1.1 的 子 网 分 配 
SimpleCIDRAffinity 0 虚拟 机 ‘os:scheduler_hints’: 
范围 内 的 主机 进行 虚 
Filter {‘build_near_ host_ip’: 


拟 机 分 配 


“192.168.1.1’,‘cidr’: ‘24’} 


当 调度 器 选择 好 合适 的 主机 进行 虚拟 机 创建 的 时 候 ， 命 令 会 来 到 Nova Compute 


( 见 图 3-25) 。 


Tun_instance(self ctxt, request_spec, admin password, injected _files, 
Tequested_networks, is_first_time, filter_properties) 


NOVA-Compute Manager.py class ComputeManager def run_instance(self,... 
def run iene Context, instance, request_spec=None, 
1 networks=Nol 


is_first t_time=False, node=None) 


NOVA-Compute Manager.py class ComputeManager def_run_instance(self,... 
def_run_instance(self, context, request_spec, 

filter 0 het injected | files, 
admin password, is_first_time, node, instance) 


图 3-25 ”Nova Compute 创 建 虚拟 机 的 过 程 

Nova-Compute 采 用 了 Driver 机 制 ， 使 得 不 同类 型 的 Hypervisor 在 OpenStack 下 实 
现 同样 的 功能 。 每 个 厂家 只 需要 根据 Driver 机 制 ， 对 类 进行 继承 和 重 载 ， 针 对 相应 
Hypervisor 的 实现 类 的 方法 即 可 。 图 3-26 对 Driver 机 制 已 经 解释 得 比较 清楚 了 。 


class VirtAPI(object) 
Driver 的 机 制 : 可 配置 的 派生 类 > 
< 


class ComputeVirtAPI(virtapi. VirtAPD 


Nova-API Nova-API Cell 


Nova-Scheduler 


[| driver.spawn(context, instance image_meta, 
派生 injected files, admin password, 
self. legacy_nw_info(network_info) 
class Huawei_ComputeDriver(object) block device info) 
compute driver = CONF.compute_driver 展 方法 1: Compute 的 Driver 机 制 是 由 厂商 提 
一 个 基于 ComputeDriver 派 生 的 类 ， 这 个 类 可 


在 配置 中 设 定 


self.virtapi = ComputeVirtAPI(self) 


Nova/Compute/Manager.py / 
class ComputeManager() 


self.driver = driver.load_compute_driver(self.virtapi, compute_driver) 


class ComputeDriver(object) ( 〗 扩 0 人 了 创 

w= 建 虚拟 机 时 候 的 参数 ， 可 以 在 

Driver 中 进行 创建 时 候 的 特殊 
处 理 


{self.virtapi = virtapi} 


加 载 到 ComputeManager 


图 3-26 ”Nova Driver 的 机 制 
除了 上 面 提 到 的 driver/plugin/ 静 态 配 置 /动态 配置 /参数 自 定义 这 些 扩展 方案 ， 
OpenStack 还 提供 灵活 的 扩展 机 制 实现 API 功 能 扩展 ( 见 表 3-6) 。 


表 3-6 ”OpenStack 的 扩展 机 制 


术语 (API 扩 
展 机 制 的 术 含义 举例 
语 ) 


资源 Restful 接 口 处 
(Resource) 理 的 对 象 


Server、Host Aggreagte 就 是 资源 


因为 对 象 之 间 存 在 关系 ， 比 如 


a Restful 请 求 映 
派发 路 由 射 到 其 处 理 所 TenantID/Server/Metadata， 到 Metadata 需 要 设置 
\ 土 二 
(Route) 、 父 对 象 是 Server/， 而 Server/ 的 父 对 象 是 
在 的 类 和 方法 
TenantID 
Controller 是 指 本 
控制 器 AggregateController 就 是 处 理 Host Aggregate 的 
全 这 处 理 Resource 网 
ontroller 类 
的 类 


如 图 3-27 所 示 ， 只 需要 增加 文件 和 修改 配置 ， 不 需要 修改 源 代 码 ， 就 可 以 扩展 
资源 及 其 API， 非 常 灵 活 和 方便 。 

在 Nova 内 对 计算 资源 域 进行 划分 ， 一 个 Region 是 一 个 OpenStack 实 例 ， 有 独立 的 
API 服 务 ( 见 图 3-28) 。 在 一 个 OpenStack 实 例 下 ， 可 以 包含 多 个 Availability Zone， 
每 个 Availability Zone 是 一 个 故障 域 ， 比 如 共享 电源 的 一 个 机 房 。 在 Availability Zone 
内 可 以 对 主机 进行 Host Aggregate 和 Group 划 分 ， 比 如 一 个 机 柜 ， 有 人 A 厂家 服务 器 和 B 
厂家 服务 器 ， 它 们 共享 一 个 存储 ， 可 以 作为 一 个 Host Aggregate， 但 是 要 作为 两 个 
Group。 对 于 API 来 说 ，Availability Zone 是 可 见 的 资源 区 域 调度 调度 单位 ， 而 Host 
Aggregate 和 Group 这 两 个 物理 主机 的 资源 分 类 概念 可 以 为 OpenStack 带 来 灵活 调度 机 
制 ， 满 足 资 源 多 样 化 的 需求 。 


{name /alias /namespace 3 updated time stamp 


API 扩 展 资 源 的 
操作 方法 ， 需 要 
在 控制 器 中 定义 


nova\api\openstack\compute\contrib \ 
aggregates.py 


class Aggregates(extensions.ExtensionDescriptor) 
{ 
name = , Aggregates" 
中 
whttp:/ ://d s.0p' openstacle orgfcompute/ext/ageregates/apily]. 而 
updated = "3012 01-12T00:00:004+00:00“ 
init){ ext_mgr.register(self)} | 
def get_resources(self): 


res = extensions.ResourceExtension('0s—aggrcgates', 
AggregateController(), 


Es 


OpenStack 类 继承 的 自 定义 类 


| posthttp://localhost/ v2/(lenant_id}/osJaggregates/ (agerbgate_id}factiont 


API 扩 展 资源 API 扩 展 资源 的 


member_actions 


nova\api\openstack\compute\contrib 
\aggregates.py 


class AggregateController(object) 


def create(self, req, body) 
def show(self, req, id) 


member_actions={"action": "POST", }) def update(self, req, id, body) 


resources.append(res) 


return resources def action(self, req, id, body) 
r 


9 新 增加 文件 和 修改 配置 ， 不 需要 修改 源 代码 就 可 以 增加 新 的 资源 
有 一 及 其 操作 的 AP 扩展 ， 适 用 于 增加 新 的 处 理 对 象 


图 3-27 ”增加 资源 及 其 API 扩 展 方法 


VMIY TVYM TvMm {VM IVMIY VMny TVMm! IVM \ 
Region | | 1 1 1xX | 
0 时 剖 站 1 1 1 旭 1 | I 1 | 
nh nd 
到 vo [RCR [ NOVA-Compute | [NOVA- Compute| ~ 
( 、\ upl -一 
Controller Se ffost AggropiieT ~ SL 
Node AvailabilityZonel 
| 
NOVAApi | 
NOVAScheduler | 
Nova-Condutor 
MySQL | 
Rabbit-MQ | _ oe 


J 


AvailabiliyZoney 
图 3-28 ”Nova 计 算 资 源 域 划分 
Nova 还 提供 一 种 大 规模 资源 管理 的 机 制 ， 即 Cell 机 制 。API 服 务 只 有 一 个 节点 ， 
每 一 个 Nova-Cells 可 以 有 很 多 的 子 Nova-Cells。 调 度 时 ， 先 选 定 Cell， 然 后 再 在 Cell 那 
里 进行 Nova-Scheduler 的 调度 。 一 个 Cell 可 以 是 一 个 数据 中 心 ， 也 可 以 是 一 个 机 房 。 
目前 Cell 机 制 还 在 不 断 优化 中 〈 见 图 3-29) 。 


API Cell 


Ce 
AMQP 
Broker 


| Nova-cells 


Child Cells 


Nova- 
[| ( DB ) 


图 3-29 ”Nova Cells 机 制 


3.3.3 ”OpenStack 的 块 存储 服务 : Cinder 


通过 Driver 机 制 ，Cinder 可 以 支持 不 同类 型 存储 ， 以 提供 块 存储 服务 ( 见 图 3- 
30) 。 


| Horizon | 
st CreateVolume AttachVolume 
CiaderGieaat | Nova- Client 
Cinder-manage Nova-Manage 
2 Cinder-API + Nova-API 
fl- | 
Cinder _ 1 Nova 
NG Cinder-Scheduler | 


Nova-Scheduler 


Cinder-Volume | Cinder-Volume ] Nova-Compute 
Volume-Driver Volume-Driver Nova-Driver 


| | Bes 
StorageBackend1 StorageBackend2 HypervisorBackend 
(Xen) 
< | 
个 Data Access Protocol 
iSCSI 


图 3-30 “Cinder 的 架构 


目前 支持 的 后 端 系统 非常 多 ， 比 如 : 
(1) iSCSI 类 后 端 系统 


~ 


~ 


~ 


7 


~ 


~” 


~ 


~ 


IET+LVM/TGT+LVM 
Solaris 

HP Lefthand 

IBM XIV/StorwizeSVC 
Nexenta 

Dell EqualLogic 
SolidFire 

NetApp 

HUAWEI 


(2) NFS (NAS) 类 后 端 系统 


~ 


~” 


NetApp 
Glusterfs 


(3) 其 他 类 后 端 系 统 


更 


~ 


Ceph 
Sheepdog 


Cinder 提 供 了 块 存储 设备 的 丰富 功能 ， 如 卷 的 CRUD、 卷 挂 载 扼 载 、 卷 快照 、 
从 卷 创 建 卷 、 从 快照 创建 卷 、 从 镜像 创建 卷 、 从 卷 创建 镜像 、 卷 扩容 、 卷 迁移 等 功 


各 已 
月 co 


Cinder 通 过 类 似 Nova 的 API、Scheduler、Cinder Volume 的 架构 ， 支 持 系统 的 水 


平 扩展 全 


已 
E 力 〈 见 图 3-31) 。 
Cinder-API 
GG) API 服 务 器 可 扩展 性 
Cinder-Scheduler 
、 |cindervolumd 。。 Cinder-Volumg [Cinder-Volumd| CinderVolumd 
(2 ) 卷 服务 可 扩展 性 上 一 一 一 一 一 一 
Cinder-Driver Cinder-Driver Cinder-Driver Cinder-Driver 


(3 ) 存储 可 扩展 性 


图 3-31 ” Cinder 的 块 存储 服务 可 扩展 能 


3.3.4 ”OpenStack 的 网 络 服务 : Neutron 


Neutron 的 核心 是 提供 一 个 标准 API 集 合 下 的 Plugin 机 制 。 可 以 由 各 种 网 络 厂商 
来 实现 具体 的 网 络 能 力 ， 也 可 以 外 接 SDN Controller 对 网 络 实现 更 为 


智能 的 虚拟 网 络 
业务 发 放 和 流量 控制 ( 见 图 3-32) 。 
J 软件 定义 网 络 服务 1 
Neutron-Server Pa | 
Plugin 
DHCP 
Agent 
a 一 
网 消息 队列 
数据 库 SQL 
RPC 
一 一 一 一 一 RESTAPI 
及 其 他 


图 3-32” Neutron 的 架构 


Neutron 的 对 象 模 型 如 图 3-33 所 示 ， 当 前 可 以 实现 如 下 虚拟 网 络 业务 


FWaaS 


firewall 
firewall policy 
LBaaS firewall rule 
Pool VIP firewall zone 
member 12 
network 
subnet 
Health monitor 
port 
VPNaaS ipsec-site-connection 5 
L3 floating ip 
IKEPolicy A 
Security 
g Group 
IPsecPolicy ee 


VPNServices 


图 3-33 ”Neutron 的 对 象 模 型 
OpenStack 提 供 如 下 几 种 基本 网 络 模型 及 其 混合 的 网 络 模型 ( 见 图 3-34、 图 3- 
35、 图 3-36) 。 


TenantA TenantA TenantB TenantA| |TenantB TenantC 
Nn TenantA VM2 VMI1 VMI1 TenantD 
Me A 人 50.00.6 | |50.009 | |500.04 | YMl 
50.0.0.5 50.0.0.6 50.0.0.9 | 150.0.0.5 50016 50019 150013 50.0.1.5 
< ~ Eg T 7 
\ -a | 


\ 0 “EY 


| N | | 到 
Shared Net Shared Net 1 Shared Net 2 
50.0.0.0/22 50.0.0.0/22 50.0.1.0/22 


OpenStack Neutron OpenStack Neutron 
] 10.10.10.1 10.10.10.1 
二 二 过 Do 多 尾 
物理 路 由 器 物理 路 由 器 


图 3-34 ”Flat 网 络 模 式 


Shared Net 2 
50.0.1.0/22 


TenantA 
VMI1 
50.0.0.5 
50.0.1.3 


Shared Net 3 
2510:0:0/22. 


TenantC 


TenantB TenantC 
VMI en VMI 
50.0.0.9 se 25.0.0.5 


250:03 


Shared Net 1 
50.0.0.0/22 


OpenStack Neutron 


10.10.10.1 


| 


医 泪 和 会 
图 3-35 ”混合 网 络 模式 
Wr va Do | nese oe (reais ena] | 
VM2 VM3 
50.0.0.5 50.0.1.6 50.0.0.4 50.0.0.5 500 | lsoore) | [XM oooa (Sowa 
25.0.0.10 25.0.0.15 25.0.0.3 25.0.0.5 25.0.0.10| | 25.0.0.15 25.0.0.25 25.0.0.28 
7 \ T T T - 
/ \ N\ | | | / 
\ re 
TenantB TenantB 
hoe Shared Net 3 Private Net 2 Private Net3| | Private Net2 
50.0.1.0/22 50.0.0.0/22 50.0.1.0/22 50.0.0.0/22 50.0.1.0/22 
50.50.1.1 50.50.0.1 
| Provider Rout Provider R. 
Provider Router Ee Outer rovider Router 
25.0.0.3 25.0.0.4 
Te 
External Network | External Network 
25.0.0.0/22 25.0.0.0/22 
OpenStack Neutron OpenStack Neutron 
25.0.0.1 
25.0.0.1 
反衬 过 
所 宇 < 到 一 
放送 了 亲 物理 路 由 器 
由 
带 专 有 网 络 的 每 个 租户 的 路 由 器 


带 专 有 网 络 的 服务 提供 商 路 由 器 


图 3-36 。” Neutron 共享 Router 模 式 和 租户 级 Router 模 式 


Neutron 提 供 单 Plugin 和 多 Plugin 模 式 ， 如 图 3-37 所 示 。 


Quantum API Endpoint(s) 


le sy 


Extensions 


eo "om 


一 mm 
me 一 mm me 
- oe, 一 


ep 
es 更 


VPN Driver DNAT Driver 


om 


FW Driver | 


LLB Driver, 


图 3-37 ”Neutron 单 Plugin 模 式 
单 Plugin 模 式 是 一 个 Plugin 实 现 所 有 的 Neutron 的 功能 ， 从 L2 到 L3 到 扩展 服务 ， 
如 LB、FW、VPN 等 ， 如 图 3-38 所 示 。 


Quantum API Endpoint(s) 


Extensions 


Only one plugin Dispatcher 


can manage 


Quantum 
conf 


Service Type 
Definition 


图 3-38 Neutron 多 Plugin 模 式 


多 Plugin 模 式 是 一 个 Plugin 只 实现 部 分 Neutron 的 服务 能 力 ， 但 是 Grizzly 版 本 只 
支持 一 个 Base Plugin 提 供 基本 的 L2/L3 能 力 ， 扩 展 网 络 服 务 能 力 支 持 多 Plugin。 在 
Havana 版 本 ，L3 能 力也 被 作为 网 络 扩展 服务 插件 ，L2 则 引入 ML2 插 件 ， 实 现 多 种 
Layer2 Driver 可 以 并 存 的 机 制 ( 见 图 3-39) 。 


Neutron Server 


ML2 Plugin API 

Extensions 

Type Manager Mechanism Manager 
5 52z5 = < 包 
芝 | 号 4 > |S> 6| 马 剖 | 已 
二 < 上 IEE asi sez 
SoBeoalmxmsol 人 ls |g le sr 
中 Sa 2 > RE ON 
> > > .号 | 吓 ©" .8 > 8 
EF 请 请 局 = 请 


图 3-39 ”Neutron 的 ML2 机 制 

Neutron 社 区 也 在 不 断 发 展 中 ， 由 于 Plugin 模 式 使 得 多 厂家 在 单个 生产 环境 中 共 
存 比 较 困 难 ， 因 此 都 在 走 类 似 ML2 的 多 种 异 构 网 络 基 础 设施 可 以 并 存 的 Driver、 
Agent 模 式 。 

我 们 再 以 Neutron (〈 原 Quantum) 为 例 ， 可 以 看 到 Plugin 机 制 实际 上 与 Driver 栅 制 | 
非常 类 似 ，Quantum Manager 会 去 扫描 是 否 有 Plugin 的 继承 类 ， 如 果 有 ， 则 把 这 些 
Plugin 加 载 到 运行 系统 中 。 同 样 地 ， 其 不 需要 修改 源 代码 就 可 以 扩展 OpenStack 的 能 
力 ( 见 图 3-40) 。 


class QuantumManager(object) 
{Pplugin_provider=cfg.CONF.core_plugin 
plugin klass=importutils.import_class(plugin_provid 
er) 
self.plugin=plugin.klass( 
i load service RS 


从 配置 中 读 取 


中 


plugin 只 能 有 


Service plugin 可 以 有 多 个 


13_db.L3 NAT db_mi 

portsecurity_db. De 
Securitygroups_db.SecurityGroupDbMixin, 
Networkgw_db.NetworkGatewayMixin, 
qos_db.NVPQoSDbMixin, 
nvp_sec.NVPSecurityGroups, 
nvp_sec.NVPSecurityGroups, 
nvp_meta.NvpMetadataAccess, 


agentschedulers_db.A chedulerDbMixin) 


class 
| PluginV2(db_base_plugin_v2.QuantumDbPluginV2) 


新 增加 文件 使 修改 配置 ， 不 需要 修改 源 代码 就 可 以 增加 Plugin 


class NvpPluginV2(db 1 se plugin V2.QuantumDbPluginV2 


NEC Plugin 


class APIRouter 
{plugin=manager.QuantumManager.get_plugins() 
ext mg 
extensions.PluginAwareExtensionManager.get_instan 


ceO } 


class 
QuantumPluginBaseV2(object) 
{create_network 

create_ subnet 

create_port } 


EPE 


class QuantumDbPluginV2(quantum plugin base v2.QuantumPluginBaseV2) 


Nicra Plugin 


本 质 上 Plugin 和 其 他 的 配置 继承 类 


是 一 个 机 制 原理 


图 3-40 ”Neutron 的 Plugin 机 制 | 


3.3.5 ”OpenStack 的 镜像 服务 : Glance 


镜像 服务 为 虚拟 机 的 创建 提供 了 基本 的 镜像 。Nova 在 创建 虚拟 机 的 时 候 会 从 


Glance 下 载 镜像 。 创 建 虚 拟 机 之 前 ， 一 般 系 统管 


理 员 会 上 载 一 些 全 局 性 的 系统 镜 


像 ， 租 户 也 可 以 对 自己 运行 中 的 VM 创 建 快 昭 ， 快 照会 作为 镜像 上 传 到 Glance。 当 然 
租户 也 可 以 在 其 他 地 方 先 做 好 镜像 ， 再 上 传 到 Glance 中 。 


Glance 作 为 OpenStack 的 镜像 服务 ， 通 
如 Swift、S3、 文 件 系统 等 〈 见 加 3.41) 


过 Driver 机 制 ， 支 持 多 种 镜像 后 端 存 储 ， 


图 3-41 ”Glance 的 可 插 拔 可 扩展 架构 
Glance 支 持 如 下 镜像 、 模 板 格式 : 
” Raw， 
> Machine (kernel/ramdisk outside of image, a.k.a. AMIAKIARD); 
> VHD (Hyper-V); 
”> VDI (VirtualBox); 
> gcow2 (QemuW/KVM); 
> VMDK (VMWare); 
> OVF (VMWare， 其 他 ) ; 
” OVA,， 
” AMI。 


3.3.6 ”OpenStack 的 身份 服务 : KeyStone 


OpenStack 的 KeyStone 支 持 集成 不 同 的 后 端 系统 (如 LDAP、SQL Server 等 关系 
型 数据 库 ，KVS.…….) 提供 基于 角色 的 用 户 身份 管理 ， 进 行 鉴 权 和 认证 管理 。 

KeyStone 提 供 两 种 令 牌 (Token) 供 OpenStack 的 API 安 全 访问 ， 一 种 是 UUID 类 
的 Token， 在 用 户 通 过 鉴 权 后 ， 临 时 生产 一 个 UUID，NOVA/Cinder/Neutron 等 服务 在 
接受 到 API 请 求 后 ， 需 要 到 KeyStone 中 去 检查 这 个 UUID 是 否 合法 ， 如 果 合 法 ， 则 人 允 


许 API 访 问 。 在 大 规模 的 云 中 ，KeyStone 会 成 为 性 能 的 瓶颈 ， 因 为 所 有 API 访 问 都 要 
用 到 KeyStone。 

因此 社区 从 性 能 考虑 ， 引 入 PKI 的 Token， 相 对 于 UUID Token ， 其 好 处 是 
Nova/Cinder/Neutron 等 服务 通过 预先 取 好 的 证 书 对 Token 进 行 认证 ,减少 了 KeyStone 
的 压力 ， 缺 点 是 Token 会 比较 大 ， 特 别 是 在 多 Region 下 租户 的 访问 权限 和 范围 很 大 的 
时 候 ，Token 本 身 就 是 一 个 负担 〈 见 图 3-42) 。 


API 服 务 器 


标识 令 牌 目录 策略 


KVS 后 端 
LDAP 后 端 
SQL 后 端 


图 3-42 ”KeyStone 可 扩展 可 插 拔 的 灵活 架构 

KeyStone 是 实施 OpenStack 生 产 系统 时 非常 关键 的 一 个 服务 ， 涉 及 对 OpenStack 
云 的 管理 模型 。 

Token 和 Credential 是 一 个 用 户 (User) 访问 云 时 需要 获得 的 令 牌 或 者 密令 。 
Token 和 Credential 都 是 在 针对 特定 的 服务 Service (如 Nova、Cinder 等 ) 和 访问 地 址 
endpoint (http://192.168.0.10/Nova/V2) 时 有 效 。Project (OpenStack 有 时 也 用 Tennat 
这 个 词 ) 是 资源 的 集合 ， 资 源 会 散布 在 Service/endpoint 中 。 用 户 (User) 要 访问 
Project 的 资源 ， 则 需要 在 Project 中 具有 一 个 角色 (Role) ， 并 且 通 过 Policy 来 控制 角 
色 对 Project 资 源 访 问 的 权限 。 为 了 方便 设置 权限 ， 可 以 把 一 组 用 户 放 在 Group 中 。 而 
Domain 就 是 Project/User/Role/Group 的 集合 。 一 个 Domain 可 以 有 多 个 Project、 多 个 
User、 多 个 不 同 的 Role， 多 个 Group ( 见 图 3-43) 。 


Domain 


Project 


Provide resources has 
A 


(VM、Volume、Network 寺 ) 


Policy 


has 
Service “一 > Endpoint 
Token 


access 


access 


acceSs 


Credential 


图 3-43 ”KeyStone 的 对 象 关系 


3.4 开源 和 社区 
3.4.1 Hypervisor 社 区 发 展 


1。 社 区 发 展 


Xen 和 KVM 是 开源 虚拟 化 技术 的 代表 ， 都 是 由 开源 社区 开发 的 ，KVM 的 部 分 代 
码 也 是 直接 从 Xen 中 移植 过 来 的 ，KVM 的 很 多 开发 者 也 都 来 自 Xen 项 目 组 。KVM 和 
Xen 是 两 种 不 同 的 虚拟 机 实现 方式 ， 各 有 不 同 的 优点 和 使 用 场合 ， 这 其 中 有 来 自 社 
区 人 员 的 不 懈 努 力 ， 背 后 也 有 着 众多 企业 的 支持 ， 这 充分 体现 了 开源 开发 模式 的 优 
越 性 和 先进 性 ， 可 以 说 Xen 和 KVM 是 这 种 社区 开发 模式 的 结晶 。 

图 3-44 展 示 了 Xen 和 KVM 的 发 展 历史 。 


年 份 Xen KVM 


1999 规划 Xenserver 
2001 0.x， 内 部 改造 Nemesis 微 内 核 
2002 1x， 内 部 开发 ， 硬 件 驱 动 在 Xen 中 
2003 
2004 2.x，XenSource 成 立 
2005 3.0 支 持 HVM，x86 64，vSMP 
2006 KVM 人 发 布 
2007 Citrix 收 购 XenSource、XenServer, 合 入 内 核 2.6.20 
建立 xen.org 
2008 Red Hat 收 购 
2009 XCP(Xenserver 社 区 版 ) RHEL5.4 支 持 KVM( 同 时 支持 Xen) 
2010 Dom0 代 码 合 入 Linux 内 核 3.0 RHEL6.0 仅 支持 KVM(RHEV2.0) 
2011 RHEV3.0 发 布 ，Ovirt 发 布 
2012 Red Hat 加 入 OpenStack 联 盟 
2013 Citrix 把 Xen 捐 给 Linux Foundation 


图 3-44 Xen、KVM 历 史 发 展 进程 
Xen 虚 拟 化 发 展 


Xen 最 初 是 作为 剑桥 大 学 的 一 个 项 目 ， 目 前 由 XEN.ORG 社 区 负责 它 的 开发 及 维 
护 ， 已 经 在 开源 社区 中 得 到 了 极 大 的 发 展 。 

(1) Xen 的 起 源 : 2000 年 左右 ，Xen 起 源 于 英国 的 剑桥 大 学 计算 机 实验 室 ， 该 
实验 室 开 发 了 Xen 开 源 项 目 。 这 个 项 目 包 括 虚 拟 机 监控 器 ， 即 Xen 环 境 的 核心 组 成 
部 分 。 除 了 剑桥 大 学 ，IBM、AMD、HP、Red Hat 和 Novell 都 参与 了 Xen 开 源 项 目 。 
由 于 Xen 方 法 使 虚拟 化 领域 迈 出 了 一 大 步 ， 因 此 Xen 的 创始 人 成 立 了 他 们 自己 的 公司 
XenSourceo 

(2) XenSource 被 收购 : Citrix 在 2007 年 以 5 亿美 元 的 价格 收购 了 XenSource 公 
司 ， 因 此 Citrix 有 了 自己 的 hypervisior 产 品 Xenserver， 在 Linux 服 务 器 领域 ，Xen 似 乎 
成 为 了 VMware 之 外 的 最 佳 虚拟 化 选择 。 

(3) 合 入 Linux Kernel 3.0: 作为 一 项 Linux 平 台 上 的 虚拟 化 技术 ，Xen 在 很 长 一 
段 时 间 内 没有 被 接受 到 Linux 内 核 的 代码 当中 ， 直 到 在 2011 年 6 月 发 布 的 Linux 内 核 
3.0 中 才 加 入 了 对 Xen 的 支持 。 


(4) 纳入 Linux Foundation: 2013 年 ，Citrix 和 Linux 基 金 会 联合 宣布 ，Xen 虚 拟 
化 平台 的 开源 社区 活动 将 纳入 Linux 基 金 会 合作 项 目 。Linux 基 金 会 将 利用 其 成 熟 的 
合作 开发 模式 ， 为 全 新 的 Xen Project 计 划 提 供 基 础 设施 、 开 发 指导 和 协作 网 络 。 


KVM 虚 拟 化 发 展 


KVM 是 目前 最 火热 的 开源 虚拟 化 解决 方案 ， 由 爱尔兰 的 公司 Qumranet 发 起 ， 并 
于 2006 年 8 月 推 向 社区 ，2008 年 被 Red Hat 收 购 ， 成 为 Red Hat 的 主推 虚拟 化 计划 。 

(1) KVM 起 源 

KVM 虚 拟 机 最 初 是 由 一 个 以 色 列 的 创业 公司 Qumranet 开 发 的 ， 作 为 他 们 的 VDI 
产品 的 虚拟 机 。 为 了 简化 开发 ，KVM 的 开发 人 员 并 没有 选择 从 底层 开始 新 写 一 个 
Hypervisor， 而 是 基于 Linux Kernel， 通 过 加 载 新 的 模块 ， 使 Linux Kernel 本 身 变 成 一 
个 Hypervisor。2006 年 10 月 ， 在 先后 完成 了 基本 功能 、 动 态 迁 移 以 及 主要 的 性 能 优 
化 之 后 ，Qumranet 正 式 对 外 宣布 了 KVM 的 诞生 。 

(2) 进入 Linux Kernel 

2006 年 10 月 ，KVM 模 块 的 源 代码 被 正式 接纳 进入 Linux Kemel， 成 为 内 核 源 代 
码 的 一 部 分 。KVM 最 早 由 Avi Kivity 等 人 开发 ， 并 于 2006 年 8 月 推 向 社区 ，10 月 被 
Linux 社 区 接受 。 它 以 其 代码 简单 、 易 于 理解 掌握 以 及 不 需要 重新 安装 等 优点 很 快 受 
到 了 业界 的 欢迎 及 Linux 项 目 创始 人 Torvalds 的 支持 ， 并 于 2006 年 底 被 集成 进 Linux 
2.6.20 版 内 核 ， 从 此 成 为 Linux 的 一 个 组 成 部 分 。 

(3) 被 Red Hat 收 购 

2008 年 9 月 4 日 ，Red Hat 公 司 出 资 1.07 亿 美元 ， 收 购 了 Qumranet， 从 而 成 为 了 
KVM 开 源 项 目的 新 东家 。 正 是 因为 此 次 收购 ，Red Hat 公 司 有 了 自己 的 虚拟 化 解决 
方案 。 

(4) RHEL5.4 支 持 KVM 

2010 年 11 月 ，Red Hat 公 司 推出 了 新 的 企业 版 Linux-RHEL 6， 在 这 个 发 行 版 中 集 
成 了 最 新 的 KVM 虚 拟 机 ， 而 去 掉 了 在 RHEL 5.x 系 列 中 集成 的 Xen。 

(5) RHEV3.0 发 布 ，Ovirt 发 布 

2011 年 11 月 ，Red Hat、IBM、 英 特 尔 、 思 科 、Canonical、NetApp 与 SUSE 赞 
成 立 Ovirt 社 区 。 其 目的 是 创建 一 个 有 活力 的 开源 社区 ， 涵 盖 虚 拟 化 管理 堆栈 各 个 层 


级 ， 包 括 Hypervisor、 管 理 、 图 形 用 户 界面 、API 等 ， 提 供 一 个 功能 丰富 的 服务 器 虚 
拟 化 管理 系 统 。Red Hat 向 Ovirt 社 区 贡献 了 自己 的 虚拟 化 管理 软件 ，IBM 则 捐 出 了 
Memory Overcommit Manager。 如 今 ，Ovirt 已 是 一 个 全 面 的 生态 系统 。 


2。 商 用 情况 


如 今 ， 企 业 正 在 部 署 或 已 经 实施 虚拟 化 技术 ， 以 便 提高 IT 基础 架构 的 利用 率 和 
经 济 性 。 利 用 数据 中 心虚 拟 化 ， 这 些 企 业 推 动 了 关键 应 用 程序 的 高 可 用 性 与 快速 恢 
复 。 最 近 几 年 ，VMware、 思 杰 和 微软 等 虚拟 化 技术 占据 了 数据 中 心 大 部 分 领地 。 
但 是 ， 商 用 的 解决 方案 不 仅 部 署 与 运 维 成 本 昂贵 ， 而 且 容 易 被 厂商 锁定 。 企 业 用 户 
希望 保持 对 IT 的 控制 能 力 ， 确 保底 层 虚 拟 平台 具有 开放 性 ， 并 有 一 个 强大 的 生态 系 
统 对 其 进行 支撑 。 


Xen 技 术 商 用 情况 


经 过 10 年 的 发 展 ，Xen 技 术 已 拥有 超过 1 000 万 用 户 ， 并 吸引 了 来 自 众 多 机 构 的 
参与 和 贡献 ， 包 括 亚 马 进 、AMD、 剑 桥 大 学 、 思 杰 、 富 士 通 、 英 特 尔 、 美 国 国家 安 
全 局 (NSA) 、 甲 骨 文 、 华 为 和 SUSE 等 。 随 着 云 时 代 的 到 来 ， 一 些 技术 领先 的 企业 
组 织 还 在 继续 推动 Xen Project 在 云 领 域 的 发 展 ， 其 中 包括 亚马逊 Web 服 务 

(AWS) 、AMD、Bromium、Calxeda、CA、 思 科 、 思 杰 、 谷 歌 、 英 特 尔 、 甲 骨 
文 、 三 星 和 Verizon。 


KVM 技 术 商 用 情况 


2011 年 初 ，IBM 和 Red Hat， 联 合 惠普 和 英特尔 一 起 ， 成 立 了 开放 虚拟 化 联盟 
(Open Virtualization Alliance)， 一 起 声明 要 加 速 KVM 投 入 市 场 的 速度 ， 由 此 避免 
VMware 一 家 独 大 的 情况 出 现 。 联 盟 成 立 之 时 ，Red Hat 的 发 言 人 表示 :“ 大 家 都 希望 
除 VMware 之 外 还 有 一 种 开源 选择 。 未 来 的 云 基础 设施 一 定 会 基于 开源 .…… 我 们 想 
要 营造 一 个 小 厂商 们 可 以 轻松 加 入 的 生态 环境 。” 

于 是 ， 开 放 虚 拟 化 联盟 红 红 火 火 地 成 立 了 。 从 2011 年 5 月 到 8 月 这 短 短 3 个 月 间 ， 
开放 虚拟 化 联盟 的 成 员 已 经 增加 到 将 近 300 个 ， 联 盟 发 展 的 速度 十 分 可 观 。IBM 现 在 


全 线 硬 件 都 对 Red Hat Linux 和 KVM 进 行 了 大 量 的 优化 ， 有 60 多 名 开发 者 专门 开发 
KVM 相 关 的 代码 。 


3.4.2 ”Cloud OS 社区 发 展 
1。. 社区 发 展 


由 于 OpenStack 的 开放 性 ，IT 各 领域 排名 前 三 位 的 厂商 都 支持 OpenStack， 并 深 
度 参与 ， 提 供 OpenStack 相 关 的 集成 解决 方案 和 服务 。 

与 OpenStack 相 比 ，CloudStack 主 要 由 原 Citrix 工 程 师 主 导 ， 由 于 架构 上 的 原因 ， 
CloudStack 可 供 扩展 的 地 方 不 多 〈 重 构 优 化 、 插 件 、 文 档 ) ， 一 部 分 插件 已 由 Citrix 
提供 ， 只 有 少 部 分 由 第 三 方 /服务 商 提 供 : 

” Caringo Contributes Object Store Plugin 

” Nicira Controller by Hugo 

” Ceph/RBD Support by Wido 

” CLVM for KVM by Marcus 

> CloudEra (Hadoop Backed Object Store) 

> Midokura (SDN Controller) 

” Basho-Object Store 

总 体 上 ，OpenStack 与 CloudStack 的 比较 如 下 。 

从 两 个 开源 社区 的 发 展 速 度 看 ，CloudStack 生 态 链 上 参与 厂商 较 少 ，OpenStack 
在 参与 度 、 活 路 度 、 厂 商 贡 献 积极 性 等 各 方面 呈现 出 远 超 CloudStack 的 发 展 势头 。 

CloudStack 在 局 部 特性 上 (GUI、 安 装 部 署 、 资 源 管理 ) 成 熟 度 较 强 。 在 业务 特 
性 上 (如 计算 资源 池 、 块 存储 等 ) ，OpenStack 与 CloudStack 能 力 相 当 。CloudStack 
缺少 对 象 存 储 ，OpenStack 的 对 象 存储 (Swift) 功能 卓越 且 广 泛 应 用 。 在 网 络 特性 
上 ，Cloudstack 成 熟 ，OpenStack 网 络 模型 灵活 且 发 展 迅猛 ， 但 有 待 成 熟 。 

OpenStack 系 统 架 构 在 开放 性 、 扩 展 性 、 分 层 解 蠢 、 对 外 服务 API 等 方面 要 远 强 
于 CloudStack， 更 适合 灵活 部 署 大 规模 云 服务 基础 平台 。 

在 管理 与 自动 化 方面 ，CloudStack 具 备 较 成 熟 的 封闭 管理 系统 ，OpenStack 具 备 
较 强 的 开放 性 ， 由 用 户 与 系统 集成 商 选择 业界 最 优 方案 。 


由 于 软件 架构 设计 的 原因 ，OpenStack 呈 现 出 更 为 强劲 的 生态 系统 ， 后 劲 更 足 ; 
CloudStack 则 表现 为 当前 商用 成 熟 度 更 高 ， 将 带动 社区 继续 往 前 发 展 。 
2。. 商用 情况 


在 亚特兰大 2014 年 的 峰会 上 ，OpenStack 基 金 会 公布 了 最 新 的 OpenStack 部 署 情 
况 : 美国 最 多 ， 其 次 是 中 国 。 调 查 问 卷 共 反 馈 了 506 家 OpenStack 部 署 〈( 见 图 3- 


45) 。 
1780 家 调查 反馈 
506 家 部 署 
512 家 公司 
293 个 UG 成 员 
前 十 位 前 十 位 
国家 国家 
部 署 (所 有 ) 
US 171 US 418 
CN 36 CN 33 
N35 N78 
FR 31 FR 53 
GB22 GB|32 
Al 21 CA 36 
AUI18 AU130 
CH 14 CH 30 
DE 14 卫 125 
BRI19 BR | 19 


图 3-45 ”调查 问卷 反馈 
部 署 的 行业 分 布 如 下 ， 其 中 IT 行业 还 是 最 多 ， 占 58% ， 电 信行 业 有 69%。 随 着 
NEFV 组 织 和 OpenStack 社 区 的 互动 ，NFV 已 经 基本 倾向 于 用 OpenStack 来 部 署 其 云 基 
础 设施 ， 相 信 电 信行 业 的 OpenStack 交 付 部 署 会 越 来 越 多 ( 见 图 3-46) 。 


图 3-46 ”OpenStack 部 署 的 行业 分 布 
3.5 “开源 还 是 闭 ; 


早期 的 开源 ， 注 重 的 是 开放 源 代码 ; 近期 和 未 来 的 开源 发 展 ， 更 加 注重 的 是 一 
个 开放 的 架构 ， 所 开放 的 源 代 码 也 是 为 这 个 开放 的 架构 服务 ;再 说 得 高 级 一 些 ， 开 
源 最 终 是 在 朝 着 开放 的 生态 链 方向 发 展 。 在 这 个 开放 的 生态 链 中 ， 大 家 (包括 厂 
商 、 用 户 、 研 究 机 构 、 个 人 开发 者 ) 可 以 自由 选择 (来 自 不 同 厂家 的 体系 模块 ) ， 
自由 发 展 (做 符合 自身 的 定制 开发 ) ， 自 由 竞争 (不同 厂家 可 以 开发 相同 的 模块 组 
件 ， 比 拼 性 能 ) 。 完 全 自由 虽然 是 一 个 理想 ， 但 至 少 在 向 这 个 方向 努力 。 

支撑 开源 健康 发 展 的 不 只 是 开源 的 精神 ， 更 是 开源 的 商业 模式 。 因 为 “精神 ” 虽 
然 很 重要 ， 但 不 能 当 饭 吃 ， 先 让 生态 链 中 的 每 个 环节 、 每 个 成 员 吃 饱 饭 ， 才 能 考虑 
精神 享受 ， 对 于 早期 为 开源 做 出 重大 贡献 的 大 牛 们 也 是 如 此 。 在 那个 IT 人 才 稀 缺 的 
年 代 ， 衣 食 无 忧 之 余 才 会 把 源 代码 公开 的 。“ 免 费 ” 是 开源 的 一 大 特色 ， 但 不 能 理解 
成 “彻底 与 完全 ”的 免费 ， 而 应 该 理解 成 “最 优 的 成 本 构成 ”( 基 于 开源 的 产品 竞争 会 
更 加 透明 化 ， 对 用 户 绑 定 概率 低 ， 性 价 比 更 加 合理 ) ， 开 源 用 户 需要 一 定 的 付出 
(可 能 是 购买 基于 开源 的 产品 、 咨 询 与 技术 支持 服务 的 费用 ; 可 能 是 申请 技术 认证 
的 费用 ; 可 能 是 对 开源 社区 的 直接 赞助 费用 ; 还 可 能 是 贡献 自己 的 代码 、 数 据 ， 等 
等 ) ， 才 会 得 到 满意 的 回报 。 

闭 源 不 会 因为 开源 的 蓬勃 发 展 而 快速 消失 ， 但 闭 源 与 开源 的 产品 及 系统 模块 之 
间 的 配合 会 更 加 紧密 。 闭 源 也 会 更 多 地 融入 开源 逐步 主导 的 开放 产业 链 之 中 。 在 开 
放 的 架构 中 ， 闭 源 模块 和 开源 模块 之 间 的 竞争 会 更 加 激烈 ， 这 对 用 户 来 说 是 一 件 大 
好 事 ， 因 为 即使 闭 源 产品 继续 存在 ， 但 出 于 竞争 的 需要 ， 其 也 会 为 用 户 提供 更 加 实 
惠 合理 的 价格 。 

对 于 科研 机 构 和 处 于 学 习 阶 段 的 个 人 开发 者 而 言 ， 丰 富 的 开源 软件 无 疑 是 这 个 
时 代 的 福音 。 其 不 仅 可 以 免费 使 用 ， 降 低 科 研 和 学 习 成 本 ， 还 可 以 进行 任意 的 试验 
和 修改 ， 是 取得 科研 成 就 和 提升 个 人 软件 开发 水 平 的 极 佳 工具 。 但 是 如 果 希 望 科研 
成 果 或 者 个 人 的 综合 技能 接 上 地 气 ， 即 实现 商业 价值 转换 ， 开 源 软 件 能 帮 的 忙 是 很 
有 限 的 。 因 为 商业 产品 所 看 重 的 是 稳定 、 高 效 、 易 用 以 及 长 期 稳定 的 技术 支持 服 
务 ， 这 所 需要 的 最 大 投入 不 是 智力 ， 而 是 体力 。 


对 于 IT 系统 供应 商 ， 基 于 开源 软件 开发 的 产品 ， 能 够 帮助 其 快速 完成 产品 化 ， 
缩短 产品 开发 周期 ， 快 速 推 向 市 场 。 但 正如 前 文 所 提 及 的 ， 同 样 基于 开源 软件 的 产 
品 众 多 ， 产 品 的 同 质 化 严重 ， 会 带 来 非常 激烈 的 市 场 竞 争 ， 大 家 比拼 的 不 仅 包括 价 
格 ， 还 有 产品 稳定 性 、 易 用 性 ， 更 多 的 是 长 期 、 稳 定 且 深入 的 技术 服务 能 力 。 与 科 
研 机 构 比 ， 企 业 有 资金 文人 力 优势 。 但 企业 和 企业 比 ， 大 家 最 终 拼 的 几乎 还 是 研发 
与 服务 的 资金 、 人 员 的 投入 以 及 成 本 控制 能 力 。 

对 于 大 多 数 开源 软件 的 最 终 企业 级 用 户 而 言 ， 最 大 的 价值 不 是 免费 ， 而 是 开源 
带 来 开放 的 架构 。 用 户 在 开放 的 架构 下 ， 对 架构 中 的 模块 可 以 有 更 多 的 供应 商 进 行 
选择 ， 而 且 模 块 可 以 更 加 容易 替换 ， 特 别 是 在 云 的 环境 下 ， 整 个 虚拟 化 平台 都 可 以 
替换 。 这 样 可 以 避免 被 某 一 家 IT 供应 商 深 度 绑 定 (被 深度 绑 定 不 仅 会 带 来 高 昂 的 成 
本 ， 而 且 用 户 期 望 的 任何 改动 和 服务 支持 都 得 看 供应 商 的 脸色 ， 遇 上 做 慢 的 IT 供应 
商 ， 有 时 给 钱 都 没 用 ， 让 企业 用 户 丧 失业 务 灵活 性 ) 。 当 然 ， 企 业 级 用 户 采 用 基于 
开源 产品 的 前 提 是 ， 基 于 开源 的 产品 综合 效能 与 可 用 性 可 以 进行 业务 商用 。 企 业 用 
户 在 使 用 基于 开源 产品 时 ， 往 往 容 易 产 生 一 个 误区 ， 那 就 是 期 望 基于 开源 的 产品 在 
性 能 、 成 本 、 可 用 性 、 易 用 性 、 服 务 支 持 能 力 等 方面 能 够 全 面 超越 闭 源 产 品 。 这 个 
理想 虽然 是 好 的 ， 但 不 是 很 现实 ， 这 里 有 一 个 很 简单 的 逻辑 ， 开 源 产 品 面向 闭 源太 
商 也 是 开放 的 ， 只 要 不 是 很 傲慢 的 闭 源 厂商 ， 就 可 以 时 刻 学 习 开源 产品 的 最 新 特性 
为 自身 所 用 ， 却 不 把 自己 优化 的 内 容 开放 给 别人 。 我 们 指望 完全 的 开源 全 面 超越 闭 
源 ， 可 能 性 不 是 很 大 。 所 以 企业 是 否 选 择 开源 的 决策 ， 还 是 要 回 到 对 开源 核心 价值 
的 判断 上 ， 那 就 是 企业 是 否 觉得 有 必要 选择 一 个 “深入 开放 ”的 IT 架构 。 

在 企业 级 用 户 里 ， 还 有 一 部 分 以 大 型 互联 网 企业 为 代表 的 ， 拥 有 强大 研发 能 
的 特殊 用 户 ， 他 们 的 IT 核 心平 台 基本 都 是 基于 开源 软件 搭建 的 ， 而 且 是 基于 开源 自 
主 开发 的 。 开 源 对 他 们 的 最 大 价值 ， 是 面向 自身 业务 的 深入 定制 能 力 。 大 型 互联 网 
企业 的 IT 平台 规模 上 庞大， 业务 特性 独特 ， 传 统 闭 源 产 品 的 推出 往往 为 了 满足 广大 普 
通 企业 用 户 的 需求 ， 对 于 大 型 互联 网 企业 的 独特 需求 ， 难 于 满足 ， 而 且 因 为 同类 需 
求 客户 数量 少 ， 闭 源 厂 商 更 不 乐意 定制 修改 。 为 了 克服 这 个 问题 ， 大 型 互联 网 企业 
为 了 自身 业务 发 展 ， 只 能 基于 开源 ， 针 对 自身 业务 进行 深入 的 定制 开发 。 这 种 定制 
开发 ， 可 以 说 投入 巨大 ， 而 且 涉 及 定制 的 层面 越 深 ， 人 花 销 越 大 ， 还 会 市 来 平台 稳定 
性 、 数 据 安全 性 等 方面 的 运营 风险 。 但 从 业务 回报 的 角度 看 ， 承 担 这 样 的 投入 和 风 
险 还 是 值得 的 。 


第 4 章 ”面向 电信 久 企 业 关 键 应 用 
的 计算 虚拟 化 


虚拟 化 技术 因为 节省 能 源 和 提升 服务 器 的 使 用 效率 等 诸多 因素 而 
得 到 了 广泛 的 认可 。 如 今 ， 许 多 公司 使 用 虚拟 技术 作为 建设 云 计算 的 
基础 技术 ， 用 以 提高 硬件 资源 的 利用 率 ， 进 行 灾难 恢复 ， 提 高 办 公 自 
动 化 水 平 。 

虚拟 化 技术 经 历 了 漫长 的 发 展 时 期 ， 早 在 20 世 纪 70 年 代 ， 大 型 计 
算 机 就 一 直 在 同时 运行 多 个 操作 系统 实例 ， 每 个 实例 彼此 独立 ， 这 时 
候 虚 拟 化 技术 还 没有 得 到 广泛 的 普及 。 直 到 当今 ， 软 硬件 方面 的 技术 
取得 了 巨大 的 进步 ， 使 得 虚拟 化 技术 在 基于 行业 标准 的 大 众 化 x86 服 务 
器 上 得 以 支撑 电信 和 企业 关键 应 用 的 部 署 ， 虚 拟 化 技术 逐步 得 到 了 广 
泛 的 认可 ， 从 而 得 以 普及 。 

电信 和 领域 通常 所 说 的 应 用 ， 主 要 是 组 成 电信 数据 网 络 和 信念 网 络 
的 网 元 中 的 逻辑 功能 实体 ， 例 如 : 无 线 网 络 中 的 基站 控制 单元 、 分 组 
数据 交换 单元 ; 移动 通信 网 络 中 的 IP 多 媒体 域 控制 网 元 、 移 动 交 换 控 
制 网 元 ; 固定 通信 领域 中 的 电话 交换 网 元 ， 以 及 支撑 电信 和 网络 安全 稳 
定 可 靠 运 行 的 运 维 管理 系统 ， 支 撑 电 信 业 务 运营 的 业务 支撑 系统 等 。 

企业 关键 应 用 ， 主 要 是 指 与 企业 的 日 常 运营 密切 相关 的 IT 生产 系 
统 或 者 IT 支撑 系统 所 运行 的 各 种 软件 业务 应 用 程序 。 企 业 关 键 应 用 与 
国民 经 济 中 的 各 行 各 业 的 自身 特点 密切 相关 ， 所 采用 的 软件 技术 分 门 
别 类 、 千 差 万 别 ， 具 有 非常 大 的 差异 性 。 

尽管 电信 和 企业 关键 应 用 的 种 类 丰富 ， 但 很 多 应 用 对 云 计算 运行 
环境 的 要 求 比较 雷同 ， 归 纳 总 结 分 为 计算 高 性 能 低 时 延 要 求 、 可 靠 性 


要 求 、 资 产 占 用 效率 要 求 等 。 
本 章 针 对 上 述 关 键 性 要 求 ， 选 取 了 计算 虚拟 化 中 的 关键 技术 予以 
前 述 ， 来 说 明 当 前 的 技术 发 展现 状 。 


4.1 计算 虚拟 化 核心 引擎: Hypervisor 介 绍 


虚拟 化 技术 源 于 大 型 机 ， 最 早 可 以 追溯 到 20 世 纪 六 七 十 年 代 大 型 
机 上 的 虚拟 分 区 技术 ， 即 允许 在 一 台 主 机 上 运行 多 个 操作 系统 ， 让 用 
户 尽 可 能 充分 地 利用 昂贵 的 大 型 机 资源 。 随 着 技术 的 发 展 和 市 场 竞 争 
的 需要 ， 虚 拟 化 技术 向 小 型 机 或 UNIX 服 务 器 上 移植 ， 只 是 由 于 真正 使 
用 大 型 机 和 小 型 机 的 用 户 还 是 少数 ， 加 上 各 厂商 产品 和 技术 之 间 的 不 
兼容 ， 使 得 虚拟 化 技术 不 太 被 公众 所 关注 。 由 于 x86 染 构 在 设计 之 初 并 
没有 考虑 支持 虚拟 化 技术 ， 它 本 身 的 结构 和 复杂 性 使 得 在 其 之 上 进行 
虚拟 化 非常 困难 ， 早 期 的 x86 染 构 并 没有 成 为 虚拟 化 技术 的 受益 者 。 

20 世 纪 90 年 代 ， 虚 拟 化 软件 厂商 采用 一 种 软件 解决 方案 ， 以 软件 
模拟 的 方式 使 x86 服 务 器 平台 实现 虚拟 化 。 对 于 这 种 纯 软 件 的 “全 虚拟 
化 ”模式 ， 每 个 Guest OS (客户 操作 系统 ) 获得 的 关键 平台 资源 都 要 由 
模拟 层 的 软件 来 控制 和 分 配 ， 需 要 利用 软件 实现 二 进 制 转换 ， 而 二 进 
制 转换 市 来 的 开销 使 得 “完全 虚拟 化 ”的 性 能 大 打折 扣 。 

为 解决 性 能 问题 ， 出 现 了 一 种 新 的 虚拟 化 技术 “ 半 虚 拟 化 ”"， 即 不 
需要 二 进 制 转换 ， 而 是 通过 对 客户 操作 系统 进行 代码 级 修改 ， 使 定制 
的 Guest OS 获得 额外 的 性 能 和 高 扩展 性 ， 但 是 修改 Guest OS 也 之 来 了 
系统 指令 级 的 冲突 及 运行 效率 问题 ， 需 要 投入 大 量 优化 的 工作 。 

当前 ， 虚 拟 化 技术 已 经 发 展 到 了 硬件 支持 的 阶段 ，“ 已 片 辅助 虚拟 
化 ”技术 就 是 把 纯 软 件 虚 拟 化 技术 的 各 项 功能 以 硬件 电路 的 形式 来 实 
现 ， 可 减少 VMM 运 行 的 系统 开销 ， 同 时 满足 CPU 半 虚拟 化 和 二 进 制 转 


换 技术 的 需求 ， 使 YMM 的 设计 得 到 简化 ， 进 而 使 VYMM 能 够 按 通 用 标 
准 进行 编写 。 心 片 辅助 虚拟 化 技术 除了 在 处 理 器 上 集成 心 片 辅助 虚拟 
化 指令 ， 同 时 提供 1/O 方 面 的 虚拟 化 支持 ， 最 终 可 实现 整个 平台 的 虚拟 
化 。 虚 拟 化 技术 的 实现 和 发 展 向 人 们 展示 了 虚拟 化 应 用 的 广阔 前 景 。 


4.1.1 业界 典型 计算 虚拟 化 架构 说 明 


作为 后 续 了 解 计 算 虚 拟 化 关键 技术 的 基础 ， 本 蔬 简要 说 明 一 下 计 
算 虚 拟 化 的 架构 ， 并 介绍 一 些 基础 概念 作为 铺垫 。 

计算 虚拟 化 技术 的 实现 形式 是 在 系统 中 加 入 一 个 虚拟 化 层 ， 将 下 
层 的 资源 抽象 成 男 一 种 形式 的 资源 ， 提 供给 上 层 使 用 。 

计算 虚拟 化 技术 的 通用 实现 方案 是 将 软件 和 硬件 相互 分 离 ， 在 操 
作 系 统 与 硬件 之 间 加 入 一 个 虚拟 化 软件 层 ， 通 过 空间 上 的 分 割 、 时 间 
上 的 分 时 以 及 模拟 ， 将 服务 器 物理 资产 抽象 成 逻辑 资产， 向 上 层 操作 
系统 提供 一 个 与 它 原先 期 待 一 致 的 服务 器 硬件 环境 ， 使 得 上 层 操作 系 
统 可 以 直接 运行 在 虚拟 环境 上 ， 并 人 允许 具有 不 同 操作 系统 的 多 个 虚拟 
机 相互 隔离 ， 并 发 运行 在 同一 人 台 物 理 机 上 ， 从 而 提供 更 高 的 IT 资源 利 
用 率 和 灵活 性 。 

计算 虚拟 化 的 虚拟 化 软件 层 需要 模拟 出 来 的 逻辑 功能 主要 为 高 
效 、 独 立 的 虚拟 计算 机 系统 ， 我 们 称 之 为 虚拟 机 ， 在 虚拟 机 中 运行 的 
操作 系统 软件 ， 我 们 称 之 为 Guest OS。 

计算 虚拟 化 技术 可 以 将 单个 CPU 模 拟 为 多 个 CPU， 人 允许 一 个 平台 
同时 运行 多 个 操作 系统 ， 并 且 应 用 程序 可 以 在 相互 独立 的 空间 内 运行 
而 互 不 影响 。 简 单 地 说 ， 计 算 虚 拟 化 技术 实现 了 计算 单元 的 模拟 和 模 
拟 出 来 的 计算 单元 间 的 隔离 。 


虚拟 化 软件 层 模拟 出 来 的 每 台 虚 拟 机 都 是 一 个 完整 的 系统 ， 它 具 
有 处 理 器 、 内 存 、 网 络 设备 、 存 储 设备 和 BIOS， 因 此 虚拟 机 中 运行 的 
操作 系统 和 应 用 程序 与 在 物理 服务 器 上 运行 的 操作 系统 和 应 用 程序 并 
没有 本 质 的 区 别 〈 见 图 4-1) 。 

计算 虚拟 化 的 这 个 软件 层 ， 也 就 是 虚拟 机 监控 器 (Virtual Machine 
Monitor，VMM) ， 通 常 被 称 为 Hypervisor。 常 见 的 Hypervisor 软 件 栈 
架构 方案 分 为 两 类 ， 即 Type-I 型 和 Type-I 型 。 

Type-I 型 〈 裸 金属 型 ) 指 VMM 直 接 运 行 在 裸 机 上 ， 使 用 和 管理 底 
层 的 硬件 资源 ，Guest OS 对 真实 硬件 资源 的 访问 都 要 通过 VMM 来 完 
成 ， 作 为 底层 硬件 的 直接 操作 者 ，VMM 拥 有 硬件 的 驱动 程序 。 


Type-I: 裸 金属 架构 Type-I: 宿主 型 架构 


应 用 EE 
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操作 系统 | | 操作 系统 
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操作 系统 
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CPU、 内 存 、 硬 盘 


图 4-1 ”虚拟 化 架构 
Type-I 型 (宿主 型 ) 指 VMM 之 下 还 有 一 层 宿 主 操作 系统 ， 由 于 
Guest OS 对 硬件 的 访问 必须 经 过 宿主 操作 系统 ， 因 而 带 来 了 额外 的 性 
能 开销 ， 但 可 充分 利用 宿主 操作 系统 提供 的 设备 驱动 和 底层 服务 来 进 
行内 存 管理 、 进 程 调度 和 资源 管理 等 。 


我 们 进一步 分 析 Hypervisor 对 于 CPU 指令 的 模拟 和 虚拟 实例 的 隔离 
方式 ， 计 算 虚 拟 化 技术 可 以 细 分 为 如 下 几 个 子 类 。 


全 虚拟 化 《Full Virtualization) 


全 虚拟 化 是 指 虚 拟 机 模拟 了 完整 的 底层 硬件 ， 包 括 处 理 器 、 物 理 
内 存 、 时 钟 、 外 设 等 ， 使 得 为 原始 硬件 设计 的 操作 系统 或 其 他 系统 软 
件 完全 不 做 任何 修改 就 可 以 在 虚拟 机 中 运行 。 操 作 系 统 与 真实 硬件 之 
间 的 交互 可 以 看 成 是 通过 一 个 预先 规定 的 硬件 接口 进行 的 。 全 虚拟 化 
VMM 以 完整 模拟 硬件 的 方式 提供 全 部 接口 (同时 还 必须 模拟 特权 指令 
的 执行 过 程 ) 。 举 例 而 言 ，x86 体 系 结构 中 ， 对 于 操作 系统 切换 进程 页 
表 的 操作 ， 真 实 硬 件 通过 提供 一 个 特权 CR3 寄 存 器 来 实现 该 接口 ， 操 
作 系 统 只 需 执行 “mov pgtable,%%cr3” 汇 编 指令 即 可 。 全 虚拟 化 VMM 必 
须 完整 地 模拟 该 接口 执行 的 全 过 程 。 如 果 硬 件 不 提供 虚拟 化 的 特殊 支 
持 ， 那 么 这 个 模拟 过 程 将 会 十 分 复杂 。 一 般 而 言 ，VMM 必 须 运行 在 最 
高 优先 级 来 完全 控制 主机 系统 ， 而 Guest OS 需 要 降级 运行 ， 从 而 不 能 
执行 特权 操作 。 当 Guest OS 执 行 前 面 的 特权 汇编 指令 时 ， 主 机 系统 会 
产生 异常 (General Protection Exception) ， 执 行 控制 权 将 重新 从 Guest 
0OS 转 到 VMM 手 中 。VMM 事 先 分 配 一 个 变量 作为 影子 CR3 寄 存 器 给 
Guest OS， 将 pgtable 代 表 的 客户 机 物理 地 址 (Guest Physical Address) 
填 入 影子 CR3 寄 存 器 ， 然 后 VMM 需 要 将 pgtable 翻 译 成 主机 物理 地 址 
(Host Physical Address) 并 填 入 物理 CR3 寄 存 器 ， 最 后 返回 到 Guest 
OS 中 。 随 后 VMM 还 将 处 理 复 杂 的 Guest OS 缺 页 异常 (Page Fault) 。 
比较 著名 的 全 虚拟 化 VMM 有 Microsoft Virtual PC 、 VMware 
Workstation、 Sun Virtual Box、 Parallels Desktop for Mac 和 QEMU。 


超 虚 拟 化 (Paravirtualization) 


这 是 一 种 修改 Guest OS 部 分 访问 特权 状态 的 代码 以 便 直接 与 YMM 
交互 的 技术 。 在 超 虚 拟 化 虚拟 机 中 ， 部 分 硬件 接口 以 软件 的 形式 提供 
给 客户 机 操作 系统 ， 这 可 以 通过 Hypercall (VMM 提 供给 Guest OS 直接 
调用 ， 与 系统 调用 类 似 ) 的 方式 来 提供 。 例 如 ，Guest OS 把 切换 页 表 
的 代码 修改 为 调用 Hypercall 来 直接 完成 修改 影子 CR3 寄 存 器 和 翻译 地 
址 的 工 作 。 由 于 不 会 产生 额外 的 异常 和 模拟 部 分 硬件 执行 流程 ， 起 虚 
拟 化 可 以 大 幅度 提高 性 能 ， 比 较 著 名 的 VMM 有 Denali、Xen。 


硬件 辅助 虚拟 化 (Hardware-Assisted Virtualization) 


硬件 辅助 虚拟 化 是 指 借助 硬件 (主要 是 主机 处 理 器 ) 的 支持 来 实 
现 高 效 的 全 虚拟 化 。 例 如 有 了 Intel-VT 技 术 的 支持 ，Guest OS 和 VMM 
的 执行 环境 自动 地 完全 隔离 开 来 ，Guest OS 有 自己 的 “全 套 寄存 器 ”， 
可 以 直接 运行 在 最 高 级 别 。 因 此 在 上 面 的 例子 中 ，Guest OS 能 够 执行 
修改 页 表 的 汇编 指令 。Intel-VT 和 AMD-V 是 目前 x86 体 系 结构 上 可 用 的 
两 种 硬件 辅助 虚拟 化 技术 。 


部 分 虚拟 化 (Partial Virtualization) 


VMM 只 模拟 部 分 底层 硬件 ， 因 此 客户 机 操作 系统 不 做 修改 是 无 法 
在 虚拟 机 中 运行 的 ， 其 他 程序 可 能 也 需要 进行 修改 。 在 历史 上 ， 部 分 
虚拟 化 是 通 往 全 虚拟 化 道路 上 的 重要 里 程 碑 ， 最 早出 现在 第 一 代 的 分 
时 系统 CTSS 和 IBM M44/44X 实 验 性 的 分 页 系统 中 。 


操作 系统 级 虚拟 化 (Operating System Level Virtualization) 


在 传统 操作 系统 中 ， 所 有 用 户 的 进程 本 质 上 是 在 同一 个 操作 系统 
的 实例 中 运行 的 ， 因 此 内 核 或 应 用 程序 的 缺陷 可 能 会 影响 其 他 进程 。 
操作 系统 级 虚拟 化 是 一 种 在 服务 器 操作 系统 中 使 用 的 轻 量 级 的 虚拟 化 
技术 ， 内 核 通过 创建 多 个 虚拟 的 操作 系统 实例 (内 核 和 库 ) 来 隔离 不 
同 的 进程 ， 不 同 实例 中 的 进程 完全 不 了 解 对 方 的 存在 。 比 较 著 名 的 虚 
拟 化 技术 有 Solaris Container、FreeBSD Jail 和 OpenVZ 等 。 


4.1.2 ”满足 电信 和 企业 关键 应 用 的 计算 虚拟 化 技术 


如 前 文 所 述 ， 为 了 满足 电信 和 企业 关键 应 用 ， 计 算 虚 拟 化 需要 满 
足 计 算 高 性 能 低 时 延 的 要 求 、 可 靠 性 的 要 求 、 资 产 占 用 效率 的 要 求 。 
为 了 满足 计算 高 性 能 低 时 延 的 要 求 ， 主 要 的 关键 性 技术 如 下 。 


1。 精细 化 CPU 调 度 技术 


为 了 保证 电信 和 关键 企业 应 用 运行 的 性 能 ， 就 要 求 同 一 台 物 理 机 
上 的 多 个 虚拟 化 运行 实例 所 获取 的 资源 既 能 满足 其 运行 的 需要 ， 同 时 
不 互相 产生 干扰 ， 精 细 化 的 CPU 调 度 技 术 应 运 而 生 。 

精细 化 CPU 调 度 技 术 主 要 指 的 是 CPU 上 下 限 配 额 及 优先 级 调度 技 
术 。 

现代 计算 机 体系 结构 一 般 至 少 有 两 个 特权 级 ( 即 用 户 态 和 核心 
态 ) 用 来 分 隔 系 统 软件 和 应 用 软件 。 那 些 只 能 在 处 理 器 的 最 高 特权 级 
(内 核 态 ) 执行 的 指令 称 之 为 特权 指令 ， 一 般 可 读 写 系统 关键 资源 的 
虽 令 ( 即 敏 感 指 令 ) 绝 大 多 数 都 是 特权 指令 (x86 存 在 若干 敏感 指令 ， 


这 些 指令 是 非特 权 指令 ) 。 如 果 执 行 特权 指令 时 处 理 器 的 状态 不 在 内 
核 态 ， 通 常会 引发 一 个 异常 ， 从 而 交 由 系统 软件 来 处 理 这 个 非法 访问 


(陷入 ) 。 经 典 的 虚拟 化 方法 就 是 使 用 “特权 解除 * 和 “陷入 -模拟 ”的 方 
式 ， 即 将 Guest OS 运行 在 非特 权 级 ， 而 将 VMM 运 行 于 最 高 特权 级 ( 完 
全 控制 系统 资源 ) 。 解 除了 Guest OS 的 特权 级 后 ，Guest OS 的 大 部 分 
指令 仍 可 以 在 硬件 上 直接 运行 ， 只 有 执行 到 特权 指令 时 ， 才 会 陷入 到 
VMM 模 拟 执行 (陷入 -模拟 ) 。“ 陷 入 -模拟 ”的 本 质 是 保证 可 能 影响 
VMM 正 确 运行 的 指令 由 VMM 模 拟 执行 ， 大 部 分 的 非 敏 感 指 令 还 是 照 
常 运 行 。 

因为 x86 指 令 中 有 若干 条 指令 是 需要 被 VMM 捕 获 的 敏感 指令 ， 但 
是 却 不 是 特权 指令 〈 称 为 临界 指令 ) ， 因 此 “特权 解除 ?并 不 能 导致 它 
们 发 生 陷入 模拟 ， 从 而 阻碍 指令 的 虚拟 化 。x86 下 的 敏感 指令 大 致 分 类 
如 下 。 

(1) 访问 或 修改 机 器 状态 或 虚拟 机 状态 的 指令 。 

(2) 访问 或 修改 敏感 寄存 器 或 存储 单元 的 指令 ， 比 如 访问 时 钟 寄 
存 器 和 中 断 寄存 器 。 

(3) 访问 存储 保护 系统 或 内 存 、 地 址 分 配 系统 的 指令 〈 段 页 之 
类 ) 。 

(4) 所 有 IO 指令 。 

其 中 的 (1) 和 (4) 都 是 特权 指令 ， 在 内 核 态 下 执行 时 会 自动 产 
生 陷 阱 被 VMM 捕 获 ， 但 是 (2) 和 (3) 不 是 特权 指令 ， 而 是 临界 指 
令 。 部 分 临界 指令 会 因为 Guest 0S 的 权限 解除 执行 失败 ， 但 是 却 不 会 
抛 出 异常 ， 所 以 不 能 被 捕获 ， 如 (3) 中 的 VERW 指 令 。 

基于 x86 计 算 架构 的 指令 处 理 原 理 ，CPU 的 精细 化 调度 技术 采用 了 
vCPU 调 度 分 配 机 制 来 实现 精细 化 管控 ， 通 常 也 称 之 为 CPU QoS 功能 


( 见 图 4-2) 。 
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客户 机 操作 系统 客户 机 操作 系统 Guest OS 客户 机 操作 系统 
VCPU vCPU vCPU vCPU vCPU vCPU vCPU vCPU vCPU 


虚拟 机 监控 器 (Hypervisor) 
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1 级 调度 ， 虚拟 机 监视 负责 vCPU 在 物理 CPU 上 的 调度 


物理 CPU: 每 个 物理 CPU 关联 着 一 个 vYCPU 执 行 队列 


图 4-2”vCPU 调 度 分 配 机 制 

从 虚拟 机 系统 的 结构 与 功能 划分 可 以 看 出 ， 客 户 操作 系统 与 虚拟 
机 监视 器 共同 构成 了 虚拟 机 系统 的 两 级 调度 框架 ， 图 4-2 是 一 个 多 核 环 
境 下 虚拟 机 系统 的 两 级 调度 框 染 。 客 户 操 作 系 统 负责 第 2 级 调度 ， 即 线 
程 或 进程 在 vCPU 上 的 调度 (将 核心 线程 映射 到 相应 的 虚拟 CPU 上 ) 。 
虚拟 机 监视 器 负责 第 1 级 调度 ， 即 vCPU 在 物理 处 理 单元 上 的 调度 。 两 
级 调度 的 调度 策略 和 机 制 | 不 存在 依赖 关系 。vCPU 调 度 器 负责 物理 处 理 
器 资产 在 各 个 虚拟 机 之 间 的 分 配 与 调度 ， 本 质 上 把 各 个 虚拟 机 中 的 
vCPU 按 照 一 定 的 策略 和 机 制 调度 在 物理 处 理 单元 上 ， 可 以 采用 任意 
的 策略 来 分 配 物理 资源 ， 满 足 虚 拟 机 的 不 同 需求 。vCPU 可 以 调度 在 一 
个 或 多 个 物理 处 理 单元 执行 (分 时 复 用 或 空间 复 用 物理 处 理 单元 ) ， 
也 可 以 与 物理 处 理 单元 建立 一 对 一 固定 的 映射 关系 (限制 访问 指定 的 
物理 处 理 单元 ) 。 


简 言 之 ， 就 是 使 得 虚拟 机 获得 的 资源 可 以 衡量 ， 并 且 资 源 在 虚拟 
机 之 间 不 相互 干扰 ; 这 里 的 资源 是 计算 资源 、 内 存 资源 、 网 络 资源 和 
存储 资源 。 
所 以 ，CPU QoS 功能 实现 的 最 终 形态 包括 以 下 几 种 。 
> 资源 上 限 限 制 : 适用 资源 严格 隔离 场景。 
” 资源 下 限 预 留 : 适用 资源 衡量 场景 ， 结 合 上 限 设置 实现 资源 
可 销售 。 
> 资源 份额 分 配 : 适用 资源 复 用 场景 。 
~ 上 限 限 制 : 保证 虚拟 机 隔离 资源 竞争 ， 保 证 用 户 体验 。 
”下 限 预 留 : 最 低 资源 保障 ， 保 证 服务 质量 。 
” 份额 分 配 : 针对 用 户 划 分 不 同等 级 ， 实 现 资源 竞争 。 
CPU QoS 的 价值 在 于 为 应 用 提供 计算 服务 质量 的 保障 ， 确 保 针 对 
资源 的 分 配 是 确定 的 、 可 衡量 的 。 
CPU QoS 的 三 个 特性 带 来 的 价值 举例 说 明 如 下 (假设 资源 为 10 
份 ， 有 3 人 台 虚 拟 机 ) 。 
” 限制 : VM1/VM2/VM3 各 设置 资源 限制 为 3 份 ， 则 3 台 虚 拟 机 最 
多 只 能 使 用 各 自 3 份 资源 ， 不 会 争 抢 其 他 虚拟 机 的 份额 资源 或 
剩余 的 1 份 资源 ， 实 现 严 格 资源 隔离 ， 保 障 用 户 体验 。 
~ 预 留 : VM1/VM2/VM3 各 设置 资源 预 留 为 3 份 ， 则 3 台 虚 拟 机 最 
少 可 以 使 用 3 份 资源 ， 保 证 资源 销售 的 可 衡量 性 ， 保 障 服务 质 
量 。 
” 份额 : VM1/VM2/VM3 各 设置 资源 份额 为 高 /中 / 低 ， 则 3 人 台 虚 
拟 机 在 充分 竞争 资源 时 ， 根 据 资源 不 同 按照 比例 分 配 ( 见 图 
4-3) 。 
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图 4-3 CPU QoS 


CPU 预 留 是 排他 性 的 ， 是 资源 设置 预 留 的 排他 ， 而 不 是 资源 使 用 


的 排他 : 


~ 


以 单 台 物 理 服务 器 节点 上 的 CPU 作 为 计算 资源 池 ， 命 名 为 
poo!l; 
上 限 限制 不 能 超过 这 个 pool 的 能 力 ， 
预 留 设 置 不 能 超过 上 限 限 制 ， 如 果 上 限 没 有 设置 ， 那 么 不 能 
ee 上 

留 对 资源 设置 的 排他 性 : 虚拟 化 平台 看 到 的 底层 资源 是 
pool， 如 果 给 虚拟 机 VM1 设 置 了 预 留 ol 那么 要 给 VM2 设 
置 的 预 留 资源 量 只 能 有 pool-pool1l 这 么 多 
对 预 留 的 资源 使 用 是 共享 复 用 的 而 不 是 排他 的 ， 就 是 说 总 资 
源 是 pool ，VM1 预 留 了 pooll1，VM2 预 留 了 pool2， 其 中 
pool1+pool2=pool; 如 果 VM1 并 没有 使 用 完 pool1 的 资产 ， 那 
么 VM2 可 以 使 用 大 于 pool2 的 资源 。 


2. NUMA 架 构 感 知 的 调度 技术 


随 着 x86 架 构 体 系 的 发 展 ， 大 部 分 用 于 提供 计算 资源 的 物理 器 件 ， 
也 就 是 x86 服 务 器 ， 都 按照 SMP 的 系统 架构 来 进行 处 理 能 力 的 增强 。 这 
就 引入 了 NUMA 的 问题 。 

通过 虚拟 化 软件 的 Host NUMA 技 术 ， 可 以 显著 提高 虚拟 机 的 性 
能 ， 降 低 处 理 时 延 ， 以 下 针对 NUMA 和 虚拟 化 软件 的 Host NUMA 技 术 
进行 详细 描述 。 

NUMA 是 非 一 致 性 内 存 架 构 ( Non-uniform Memory 
Architecture) ， 解 决 了 SMP 系 统 中 的 可 扩展 性 问题 。NUMA 将 几 个 
CPU 通 过 内 存 总 线 与 一 块 内 存 相连 构成 一 个 组 ， 整 个 系统 就 被 分 为 若 
干 个 Node 〈 见 图 4-4) 。 


图 4-4 CPU Node 
一 个 Node 服 务 器 内 包含 若干 CPU 和 一 块 内 存 ，CPU 访 问 其 所 在 
Node 的 本 地 内 存 的 速度 最 快 ， 访 问 其 他 Node 的 内 存 性 能 较 差 。 
操作 系统 根据 3RAT 和 SLIT 表 识别 NUMA 拓 扑 〈 见 图 4-5) 。 


虚拟 化 软件 实现 的 Host NUMA 主 要 提供 CPU 负载 均衡 机 制 ， 解 决 
CPU 资源 分 配 不 平衡 引起 的 VM 性 能 瓶颈 问题 ， 当 局 动 VM 时 ，Host 
NUMA 根 据 当 时 主机 内 存 和 CPU 负载 ， 选 择 一 个 负载 较 轻 的 Node 放 置 
该 YM， 使 VM 的 CPU 和 内 存 资源 分 配 在 同一 个 Node 上 。 如 图 4-5 左 边 所 
示 ，Host NUMA 把 VM 的 物理 内 存放 置 在 一 个 Node 上 ， 对 VM 的 vCPU 
调度 范围 限制 在 同一 个 Node 的 物理 CPU 上 ， 并 将 VM 的 vCPU 亲 和 性 绑 
定 在 该 Node 的 物理 CPU 上 。 考 虑 到 VM 的 CPU 负载 是 动态 变化 的 ， 在 初 
始 放置 的 Node 上 ，Node 的 CPU 资源 负载 也 会 随 之 变化 ， 这 会 导致 某 个 
Node 的 CPU 资源 不 足 ， 而 另 一 个 Node 的 CPU 资源 充足 ， 在 此 情况 下 ， 
Host NUMA 会 从 CPU 资源 不 足 的 Node 上 选择 VM， 把 VM 的 CPU 资源 分 
配 在 CPU 资源 充足 的 Node 上 ， 从 而 动态 实现 Node 间 的 CPU 负载 均衡 。 


vCPU 调 度 范 围 : vCPU 调 度 范围 ' 
| 处理 器 0 处 理 器 1 处 理 器 1 |! 
1 1 过 
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图 4-5 ”Host NUMA 原 理 图 
对 于 VM 的 vCPU 个 数 超过 Node 中 CPU 的 核 数 的 VM， 如 图 4-5 右 边 
所 示 ，Host NUMA 把 该 VM 的 内 存 均匀 地 放置 在 每 个 Node 上 ，vCPU 的 
调度 沁 围 为 所 有 Node 的 CPU。 用 户 绑 定 了 VM 的 vCPU 杀 和 性 ，Host 


NUMA 特 性 根据 用 户 的 vCPU 亲 和 性 设置 决定 VM 的 放置 ， 若 绑 定 在 一 
个 Node 的 CPU 上 ，Host NUMA 把 VM 的 内 存 和 CPU 放置 在 一 个 Node 
上 ， 若 绑 定 在 多 个 Node 的 CPU 上 ，Host NUMA 把 VM 的 内 存 均匀 分 布 
在 多 个 Node 上 ，VM 的 vCPU 在 多 个 Node 的 CPU 上 均衡 调度 。 

虚拟 化 软件 提供 复杂 的 NUMA 调 度 程 序 来 动态 平衡 处 理 器 负载 ， 
根据 当时 主机 内 存 和 CPU 负载 优先 把 VM 的 CPU 和 内 存 资 源 分 配 在 同一 
个 Node 上 ， 并 随 着 资源 负载 的 动态 变化 对 主机 Node 间 的 CPU 资源 做 负 
载 均衡 。 

此 特性 为 虚拟 化 软件 基本 特性 ， 不 需要 管理 员 明 确 处 理 节 点 之 间 
的 虚拟 机 平衡 ， 在 各 种 场景 均 可 使 用 。 

Host NUMA 保 证 VM 访问 本 地 物理 内 存 ， 减 少 了 内 存 访问 延迟 ， 
可 以 提升 VM 性 能 ， 性 能 提升 的 幅度 与 VM 虚拟 机 访问 的 内 存 大 小 和 频 
率 相关 。 


3. 内存 复 用 技术 


前 文 介绍 了 计算 虚拟 化 技术 中 CPU 分 配 的 技术 ， 本 节 针 对 提高 资 
源 利用 率 的 内 存 管 理 和 复 用 技术 进行 说 明 ( 见 图 4-6) 。 

计算 虚拟 化 软件 中 ，VMM (Virtual Machine Monitor) 掌控 所 有 系 
统 资源 ， 因 此 VMM 掌 握 整个 内 存 资源， 负责 页 式 内 存 管理 ， 维 护 虚 拟 
地 址 到 机 器 地 址 的 映射 关系 。 因 Guest OS 本 身 亦 有 页 式 内 存 管理 机 
制 ， 则 有 VMM 的 整个 系统 就 比 正 常 系统 多 了 一 层 映射 。 

映射 关系 如 下 : Guest OS: PA=f (VA) 、VMM: MA =g (PA) 。 

VMM 维 护 一 套 页 表 ， 负 责 PA 到 MA 的 映射 。Guest OS 维护 一 套 页 
表 ， 负 责 VA 到 PA 的 映射 。 实 际 运行 时 ， 用 户 程序 访问 VA1， 经 Guest 


OS 的 页 表 转 换 得 到 PA1， 再 由 VMM 介 入 ， 使 用 VMM 的 页 表 将 PA1 转 换 
为 MA1。 
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图 4-6 ”内 存 虚拟 化 三 层 模 型 
页 表 虚 拟 化 技术 原理 


普通 MMU 只 能 完成 一 次 虚拟 地 址 到 物理 地 址 的 映射 ， 在 虚拟 机 环 
境 下 ， 经 过 MMU 转 换 所 得 到 的 “物理 地 址 ”并 不 是 真正 的 机 器 地 址 。 若 
需 得 到 真正 的 机 器 地 址 ， 必 须 由 VMM 介 入 ， 再 经 过 一 次 映射 才能 得 到 
总 线 上 使 用 的 机 器 地 址 。 如 果 虚 拟 机 的 每 个 内 存 访问 都 需要 VMM 介 
入 ， 并 由 软件 模拟 地 址 转换 ， 效 率 是 很 低下 的 ， 几 乎 不 具有 实际 可 用 
性 ， 为 实现 虚拟 地 址 到 机 器 地 址 的 高 效 转换 ， 现 普遍 采用 的 思想 是 : 
由 VMM 根 据 映射 fF 和 g 生 成 复合 的 映射 fg， 并 直接 将 这 个 映射 关系 写 入 
MMU。 当前 采用 的 页 表 虚 拟 化 方法 主要 是 MMU 类 虚拟 化 (MMU 


Paravirtualization) 和 影子 页 表 ， 后 者 已 被 内 存 的 心 片 辅助 虚拟 化 技术 
所 蔡 代 。 

MMU Paravirtualization 的 基本 原理 是 当 Guest OS 创建 一 个 新 的 页 
表 时 ， 会 从 它 所 维护 的 空 肉 内存 中 分 配 一 个 页 面 ， 并 向 Xen 注 册 该 页 
面 ，Xen 会 剥夺 Guest OS 对 该 页 表 的 写 权 限 ， 之 后 Guest OS 对 该 页 表 的 
写 操 作 会 陷入 到 Xen 加 以 验证 和 转换 。Xen 会 检查 页 表 中 的 每 一 项 ， 确 
保 他 们 只 映射 了 属于 该 虚拟 机 的 机 器 页 面 ， 而 且 不 得 包含 对 页 表 页 面 
的 可 写 映 射 。 然 后 Xen 会 根据 自己 所 维护 的 映射 和 关系， 将 页 表 项 中 的 物 
理 地 址 替换 为 相应 的 机 器 地 址 ， 最 后 再 把 修改 过 的 页 表 载 和 MMU。 如 
此 ，MMU 就 可 以 根据 修改 过 的 页 表 直 接 完成 虚拟 地 址 到 机 器 地 址 的 转 
换 。 


内 存世 片 辅助 虚拟 化 


内 存 的 心 上 请 辅助 虚拟 化 扩 术 是 用 于 蔡 代 虚拟 化 扩 术 中 软件 实现 的 
“影子 页 表 ” 的 一 种 心 片 辅助 虚拟 化 技术 ， 其 基本 原理 是 : GVA (客户 
操作 系统 的 虚拟 地 址 ) 转换 到 GPA (客户 操作 系统 的 物理 地 址 ) ， 然 
后 再 转换 到 HPA (宿主 操作 系统 的 物理 地 址 ) 。 两 次 地 址 转换 都 由 
CPU 硬 件 自动 完成 (软件 实现 内 存 开销 大 、 性 能 差 ) 。 我 们 以 VT-x 技 
术 的 页 表 扩 充 技 术 Extended Page Table (EPT) 为 例 。 首 先 ，VMM 预 
先 把 客户 机 物理 地 址 转换 到 机 器 地 址 的 EPT 页 表 设 置 到 CPU 中 ;其 
次 ， 客 户 机 修改 客户 机 页 表 无 需 VMM 干 预 ， 最 后 ， 地 址 转换 时 ，CPU 
自动 查找 两 张 页 表 完 成 客户 机 虚拟 地 址 到 机 器 地 址 的 转换 。 使 用 内 存 
的 心 片 辅助 虚拟 化 拷 术 ， 客 户 机 运行 过 程 中 无 需 VMM 干 预 ， 去 除了 
大 量 软件 开销 ， 内 存 访问 性 能 接近 物理 机 。 


虚拟 化 软件 平台 提供 多 种 内 存 复 用 技术 和 灵活 自动 的 内 存 复 用 策 
略 。 对 于 某 些 物理 内 存 资 源 比 较 紧 张 的 场景 ， 如 果 用 户 希 望 运行 超过 
物理 内 存 能 力 的 虚拟 机 ， 以 达到 节省 成 本 的 目的 ， 就 需要 有 内 存 复 用 
策略 来 动态 地 对 内 存 资 源 进 行 分 配 和 复 用 。 内 存 复 用 策略 通过 内 存 复 
用 技术 ， 提 升 物理 内 存 利用 率 的 同时 ， 尽 可 能 减少 对 虚拟 机 性 能 的 影 
响 。 客 户 无 需 关 心 何 时 调用 和 怎么 调用 几 种 复 用 技术 ， 只 需 简单 配置 
和 开启 复 用 策略 后 就 能 达到 提升 虚拟 机 密度 的 目的 。 

虚拟 化 软件 的 内 存 复 用 技术 有 以 下 三 种 : 内 存 气 泡 、 内 存 零 页 共 
享 和 内 存 交 换 技术 。 

(1) 内存 气 泡 技术 (Ballooning) 

内 存 气泡 技术 是 一 种 VMM 通 过 “诱导 "客户 机 操作 系统 来 回收 或 分 
配 客户 机 所 拥有 的 宿主 机 物理 内 存 的 拷 术 。 当 客 尸 机 物理 内 存 足 够 
时 ， 客 户 机 操作 系统 从 其 闲置 客户 机 物理 机 内 存 链 表 中 返回 客户 机 物 
理 内 存 给 气球 ; 当 客 户 机 物理 内 存 资源 稀缺 时 ， 客 户 机 操作 系统 必须 
回收 一 部 分 客户 机 物理 内 存 ， 以 满足 气球 申请 客户 机 物理 内 存 的 需 
要 。 通 过 Balloon Driver 模 块 ， 从 源 虚 拟 机 申请 可 用 内 存 页 面 ， 通 过 
Grant Table 授 权 给 目标 虚拟 机 ， 并 更 新 虚拟 机 物理 地 址 和 机 器 地 址 映 
射 天 系 表 。 

通过 使 用 Ballooning 技 术 ， 可 以 提升 内 存 使 用 效率 。 

(2) 内 存 零 页 共享 技术 

内 存 零 页 共享 技术 作为 内 存 复 用 技术 的 一 种 ， 能 有 效 地 识别 和 释 
放 虚 拟 机 内 未 分 配 使 用 的 零 页 ， 以 达到 提高 内 存 复 用 率 的 目的 。 客 户 
开启 零 页 共享 技术 后 ， 能 实时 从 虚拟 机 内 部 把 零 页 进行 共享 ， 从 而 把 
其 占用 的 内 存 资源 释放 出 来 给 其 他 虚拟 机 使 用 ， 以 创建 更 多 的 虚拟 
机 ， 实 现 提高 虚拟 机 密度 的 目的 。 与 内 存 气 泡 技术 不 同 ， 零 页 共享 后 


的 内 存 页 对 于 虚拟 机 来 说 还 是 可 用 的 ， 虚 拟 机 可 以 随时 根据 需要 收回 
这 部 分 内 存 ， 用 户 体验 相对 来 说 更 加 友好 。 

用 户 进程 定时 扫描 虚拟 机 的 内 存 数据 ， 如 果 发 现 其 效 据 内 容 全 为 
零 ， 则 通过 修改 P2M 映 射 的 形式 把 其 指向 一 个 特定 的 零 页 ， 从 而 做 到 
在 物理 内 存 中 仅 保留 一 份 零 页 拷贝。 虚拟 机 的 所 有 零 页 均 指 向 该 页 ， 
以 达到 节省 内 存 资源 的 目的 。 当 零 页 数据 发 生变 动 时 ， 由 Xen 动 态 地 分 
配 一 页 内 存 出 来 给 虚拟 机 ， 使 修改 后 的 数据 有 内 存 页 进行 存放 ， 因 此 
对 于 Guest OS 来 说 ， 整 个 零 页 共享 过 程 是 完全 不 感知 的 。 

(3) 内 存 交 换 技 术 

内 存 交 换 技术 作为 内 存 复 用 技术 的 一 种 ， 能 通过 Xen 把 虚拟 机 内 存 
数据 换 出 到 存储 介质 上 的 交换 文件 中 ， 从 而 释放 内 存 资 源 ， 以 达到 提 
高 内 存 复 用 率 的 目的 。 由 于 内 存 气 泡 和 零 页 共享 的 数量 与 虚拟 机 本 身 
的 内 存 使 用 情况 强 相 关 ， 因 此 其 效果 不 是 很 稳定 ， 用 户 使 用 内 存 交 换 
技术 ， 可 以 弥补 上 述 不 足 ， 可 以 保证 释放 一 定量 的 内 存 空间 (理论 上 
所 有 虚拟 机 内 存 都 能 交换 出 来 )， 但 同时 会 带 来 一 定 程度 的 虚拟 机 性 
能 下 降 。 

内 存 交 换 触 发 时 ， 根 据 用 户 需 要 告知 Xen 需 要 同 某 个 虚拟 机 交换 出 
一 定量 的 内 存 页 出 来 ，Xen 按 一 定 的 选 页 策略 从 虚拟 机 中 选择 相应 数量 
的 页 后 ， 把 页 数据 保存 到 存储 介质 上 的 交换 文件 中 ， 同 时 释放 原先 存 
放 数 据 的 那些 页 供 其 他 虚拟 机 使 用 。 当 虚拟 机 谈 写 的 页 正好 是 被 换 出 
的 页 时 ， 在 缺 页 处 理 时 Xen 会 重新 为 其 分 配 一 页 内 存 ， 然 后 从 存储 介质 
上 的 交换 文件 中 把 相应 的 页 交换 回 新 分 配 的 内 存 页 中 ， 同 时 再 选择 另 
外 一 页 内 存 交 换 出 去 ， 从 而 保证 虚拟 机 对 页 的 正常 读 写 的 同时 ， 稳 定 
交换 页 的 数量 。 这 个 过 程 与 零 页 共享 一 样 ， 对 Guest OS 都 是 不 可 感知 
的 。 


4. VO 调度 中 断 优化 技术 


影响 电信 和 企业 关键 应 用 的 运行 时 响应 时 延 的 因素 很 多 ， 其 中 ， 
中 断 处 理 就 是 一 个 在 虚拟 化 条 件 下 的 关键 因素 。 

CPU 在 处 理 MO 访 问 请 求 出 现 中 断 时 ， 其 实际 处 于 等 待 的 状态 ， 在 
虚拟 化 的 条 件 下 ， 因 为 单个 物理 机 上 运行 的 虚拟 机 实例 比较 多 ， 因 此 
所 产生 的 IO 中 断 请 求 也 变 多 ， 这 样 实际 上 造成 了 物理 CPU 的 等 待 ， 从 

影响 了 应 用 运行 的 响应 时 延 和 性 能 。 

VMM 通 过 VO 虚拟 化 来 复 用 有 限 的 外 设 资源 ， 其 通过 截获 Guest 
OS 对 WO 设备 的 访问 请 求 和 通过 软件 模拟 真实 的 硬件 来 响应 这 些 截 获 的 
请 求 ， 目 前 IO 设备 的 虚拟 化 方式 主要 有 三 种 : 设备 接口 完全 模拟 、 前 
端 /后 端 模拟 、 直 接 划 分 。 


设备 接口 完全 模拟 


设备 接口 完全 模拟 即 软件 精确 模拟 与 物理 设备 完全 一 样 的 接口 ， 
Guest OS 驱动 无 需 修 改 就 能 驱动 这 个 虚拟 设备 。 优 点 是 没有 额外 的 硬 
件 开销 ， 可 重用 现 有 驱动 程序 ， 缺 点 是 为 完成 一 次 操作 要 涉及 多 个 寄 
存 器 的 操作 ， 使 得 VMM 要 截获 每 个 寄存 器 访问 并 进行 相应 的 模拟 ， 导 
致 多 次 上 下 文 切 换 ， 性 能 较 低 。 


前 端 /后 端 模拟 


VMM 提 供 一 个 简化 的 驱动 程序 (后 端 ，Back-End) ，Guest OS 中 
的 驱动 程序 为 前 端 (Front-End，FE) ， 前 端 驱 动 将 来 自 其 他 模块 的 请 
求 通过 与 Guest OS 间 的 特殊 通信 机 制 直接 发 送 给 Guest OS 的 后 端 驱 


动 ， 后 端 驱动 在 处 理 完 请 求 后 再 发 回 通知 给 前 端 《Xen 即 采用 该 方 
法 ) 。 优 点 是 由 于 基于 事务 的 通信 机 制 ， 能 在 很 大 程度 上 减少 上 下 又 
切换 开销 ， 没 有 额外 的 硬件 开销 ， 缺 点 是 需要 VMM 实 现 前 端 驱 动 ， 后 
端 驱动 可 能 成 为 瓶颈 。 


直接 划分 


直接 划分 即 直接 将 物理 设备 分 配给 某 个 Guest OS， 由 Guest OS 直 
接 访 问 IO 设 备 (不 经 VMM) ， 目 前 与 此 相关 的 技术 有 AMD 
IOMMU、Intel VEd、PCI-SIG 之 SR-IOV 等 ， 旨 在 建立 高 效 的 IO 虚拟 
化 直通 道 。 优 点 是 直接 访问 减少 了 虚拟 化 开销 ， 缺 点 是 需要 购买 额外 
的 硬件 。 


5。 网络 直通 VMDq 技 术 


在 虚拟 化 的 条 件 下 ， 网 络 访问 报 文 需要 从 软件 层 的 虚拟 网 卡 经 过 
物理 网 卡 才能 发 出 。 由 于 软件 模拟 虚拟 网 卡 的 因素 会 造成 网 络 访问 时 
延 的 增加 和 拌 动 ， 为 了 解决 这 个 问题 ， 我 们 先后 发 展 出 VMDgq 的 技术 
和 SR-IOV 的 技术 。 

在 虚拟 环境 中 ，Hypervisor 管 理 网 络 W/O 活 动 ， 随 着 平台 中 的 虚拟 
机 和 传输 量 增加 ，Hypervisor 需 要 更 多 的 CPU 周期 来 进行 数据 包 分 类 操 
作 ， 并 需要 将 数据 向 路 由 到 相应 的 虚拟 机 中 ， 这 些 操作 会 因 对 CPU 的 
占用 ， 而 影响 上 层 应 用 软件 对 CPU 的 使 用 。Hypervisor 利用 VMDq 

(Virtual Machine Device Queues， 虚 拟 机 设备 队列 ) 技术 ， 针 对 对 虚 
拟 机 网 络 性 能 有 极 高 要 求 的 场景 ， 在 支持 VMDdq 的 网 卡 上 ， 用 硬件 实 
现 Layer 2 分 类 /排序 器 ， 根 据 MAC 地 址 和 VLAN 信 息 将 数据 包 发 送 到 指 


定 的 网 卡 队列 中 。 这 样 虚 拟 机 收发 包 时 就 不 需要 DomO 的 参与 ， 这 种 
模式 极 大 地 提升 了 虚拟 化 网 络 效率 。 

Intel VMDq 技 术 ， 是 专门 用 于 提升 网 卡 的 虚拟 化 VO 性 能 的 硬件 畏 
助 VO 虚 拟 化 技术 ， 主 要 解决 WO 设备 上 频繁 的 VMM 切 换 以 及 对 中 断 的 
处 理 问 题 ， 其 可 以 减轻 Hypervisor 的 负担 ， 同 时 提高 虚拟 化 平台 网 络 
IO 性 能 。 

VMDdq 技 术 可 以 将 网 络 IO 管理 负担 从 Hypervisor 上 条 载 掉 ， 多 个 队 
列 和 心 片 中 的 分 类 智能 性 支持 虚拟 环境 中 增强 的 网 络 传输 流 ， 从 应 用 
任务 中 释放 处 理 器 周期 ， 提 高 向 虚拟 机 的 数据 处 理 效率 及 整体 系统 性 
能 。VMDq 为 虚拟 机 提供 接近 物理 机 的 网 络 通信 性 能 ， 兼 容 部 分 虚拟 
化 高 级 特性 ， 比 如 在 线 迁移 、 虚 拟 机 快照 等 。 


6。 网 络 直通 SR-IOV 技 术 


与 VMDq 类 似 ，SR-IOV 也 是 采用 类 直通 的 方式 来 避免 软件 层 对 于 
网 络 转发 的 时 延 、 抖 动 的 影响 ， 从 而 满足 电信 和 与 企业 关键 应 用 对 于 高 
性 能 低 时 延 的 要 求 。 

服务 器 虚拟 机 技术 是 通过 软件 模拟 多 个 网 络 适配器 的 方式 来 共享 
一 个 物理 网 络 适配器 端口 ， 来 满足 虚拟 机 的 WO 需求 。 虚 拟 化 软件 在 多 
个 层面 控制 和 影响 虚拟 机 IO 操作 ， 因 此 导致 环境 中 出 现 瓶 颈 并 影响 VO 
性 能 。SR-IOV 是 一 种 不 需要 软件 模拟 就 可 以 共享 TO 设备 I O 端 口 的 物 
理 功能 的 方法 ， 主 要 利用 iNIC 实 现 网 桥 和 抒 载 虚 拟 网 卡 ， 人 允许 将 物理 网 
络 适 配器 的 SR-IOV 虚 拟 功 能 直接 分 配给 虚拟 机 ， 可 以 提高 网 络 吞 吐 
量 ， 并 缩短 网 络 延 迟 ， 同 时 减少 处 理 网 络 流量 所 需 的 主机 CPU 开销 。 


SR-IOV (Single Root IO Virtualization) 是 PCI-SIG 推 出 的 一 项 标 
准 ， 是 虚拟 通道 《在 物理 网 卡 上 对 上 层 软 件 系统 虚拟 出 多 个 物理 通 
道 ， 每 个 通道 具备 独立 的 IO 功能 ) 的 一 个 技术 实现 ， 用 于 将 一 个 PCIe 
设备 虚拟 成 多 个 PCIe 设 备 ， 每 个 虚拟 PCIe 设 备 如 同 物理 PCIe 设 备 一 样 
向 上 层 软 件 提供 服务 。 通 过 SR-IOV， 一 个 PCIe 设 备 不 仅 可 以 导出 多 个 
PCI 物 理 功 能 ， 还 可 以 导出 共享 该 TO 设备 上 的 资源 的 一 组 虚拟 功能 ， 
每 个 虚拟 功能 都 可 以 被 直接 分 配 到 一 个 虚拟 机 ， 能 够 让 网 络 传输 绕 过 
软件 模拟 层 ， 直 接 分 配 到 虚拟 机 ， 实 现 将 PCI 功 能 分 配 到 多 个 虚拟 接口 
以 在 虚拟 化 环境 中 共享 一 个 PCI 设 备 的 目的 ， 并 且 降 低 了 软件 模拟 层 中 
的 VO 开销 ， 因 此 实现 了 接近 本 机 的 性 能 。 在 这 个 模型 中 ， 不 需要 任何 
透 传 ， 因 为 虚拟 化 在 终端 设备 上 发 生 ， 人 允许 管理 程序 简单 地 将 虚拟 功 
能 映射 到 VM 上 以 实现 本 机 设备 性 能 和 隔离 安全 。SR-IOV 虚 拟 出 的 通 
道 分 为 两 个 类 型 。 
~ PF (Physical Function) 是 完整 的 PCIe 设 备 ， 包 含 了 全 面 的 管 
理 、 配 置 功能 ，Hypervisor 通 过 PF 来 管理 和 配置 网 卡 的 所 有 
IO 资产 。 
” VF (Virtual Funciton) 是 一 个 简化 的 PCIe 设 备 ， 仅 仅 包含 了 
IO 功能 ， 通 过 PF 衍 生 而 来 ， 好 像 物 理 网 卡 硬件 资源 的 一 个 切 
片 。 对 于 Hypervisor 来 说 ， 这 个 VF 同 一 块 普通 的 PCIe 网 卡 一 
模 一 样 ， 可 满足 高 网 络 IO 应 用 要 求 ， 无 需 特别 安装 驱动 ， 且 
可 以 实现 无 损 热 迁移 、 内 存 复 用 、 虚 拟 机 网 络 管控 等 虚拟 化 
特性 。 


- 


在 云 计算 采用 计算 虚拟 化 技术 实现 了 虚拟 机 的 模拟 和 虚拟 机 运行 
实例 的 隔离 需求 之 后 ， 更 重要 的 是 要 把 大 量 计算 虚拟 化 资产 组 合成 一 
个 大 资产 地 ， 用 来 满足 云 化 场景 下 资源 的 按 需 申请 和 资产 的 灵活 分 配 
的 要 求 。 这 就 引入 了 新 的 课题 ， 即 如 何 将 虚拟 机 在 这 个 大 资源 池 ( 包 
括 跨 地 域 场景 ) 进行 高 效 调度 。 


4.2.1 ”高 性 能 、 低 时 延 的 虚拟 机 热 迁 移 机 制 


虚拟 机 是 弹性 计算 服务 的 资源 实体 ， 为 保证 在 虚拟 资源 闻 中 对 虚 
拟 机 资源 的 灵活 分 配 ， 需 提供 在 资产 池内 的 虚拟 机 热 迁 移 能 力 ， 即 虚 
拟 机 在 不 中 断 业 务 的 情况 下 实现 在 不 同 物理 机 上 的 迁移 。 虚 拟 机 迁移 
时 ， 管 理 系统 会 在 迁移 的 目的 端 创建 该 虚拟 机 的 完整 镜像 ， 并 在 产 端 
和 目的 端 进行 同步 。 同 步 的 内 容 包括 内 存 、 寄 存 器 状态 、 堆 栈 状态 、 
虚拟 CPU 状态 、 存 储 以 及 所 有 虚拟 硬件 的 动态 信息 。 在 迁移 过 程 中 ， 
为 保证 内 存 的 同步 ， 虚 拟 机 管理 器 (Hypervisor) 提供 了 内 存 数据 的 快 
速 复制 技术 ， 从 而 保证 在 不 中 断 业 务 的 情况 下 将 虚拟 机 迁移 到 目标 主 
机 。 同 时 ， 通 过 共享 存储 ， 保 证 了 虚拟 机 迁移 前 后 持久 化 效 据 不 变 。 
虚拟 机 热 迁 移 的 作用 ， 具 体 如 下 。 
” 降低 客户 的 业务 运行 成 本 : 根据 时 间 段 的 不 同 ， 客 户 的 服务 
器 会 在 一 定时 间 内 处 于 相对 空间 的 状态 ， 此 时 若 将 多 台 物 理 
机 上 的 业务 迁移 到 少量 或 者 一 台 物理 机 上 运行 ， 而 将 没有 运 
行业 务 的 物理 机 关闭 ， 融 可 以 降低 客户 的 业务 运行 成 本 ， 同 
时 达到 节能 减 排 的 作用 。 
” 保证 客户 系统 的 高 可 靠 性 : 如 果 某 人 台 物 理 机 运行 状态 出 现 异 
常 ， 在 进一步 恶化 之 前 将 该 物理 机 上 运行 的 业务 迁移 到 正常 
运行 的 物理 机 上 ， 就 可 以 为 客户 提供 高 可 用 性 的 系统 。 


” 硬件 在 线 升 级 : 当 客户 需要 对 物理 机 硬件 进行 升级 时 ， 可 移 
将 该 物理 机 上 的 所 有 虚拟 机 迁移 出 去 ， 之 后 对 物理 机 进行 升 
级 ， 升 级 完成 再 将 所 有 虚拟 机 迁移 回来 ， 从 而 实现 在 不 中 断 
业务 运行 的 情况 下 对 硬件 进行 升级 ， 保 证 服务 的 持续 可 用 
性 。 

一 个 虚拟 化 系统 ， 至 少 需 要 在 下 列 场景 下 支持 虚拟 机 热 迁 移 功 


站 
CC 


” 根据 需要 按照 迁移 目的 手动 把 虚拟 机 迁移 到 空间 的 物理 服务 
大 
” 根据 资源 利用 情况 将 虚拟 机 批量 迁移 到 空闲 的 物理 服务 器 。 
虚拟 机 应 用 于 电信 和 企业 关键 应 用 领域 ， 且 虚拟 网 元 在 硬件 平台 
间 无 缝 迁 移 时 ， 面 临 切 换 时 延 带 来 虚拟 机 内 部 业务 中 断 的 问题 ， 通 信 
领域 虚拟 机 迁移 切换 时 间 确 保 在 1 秒 以 内 ， 同 时 电信 和 企业 关键 应 用 业 
务 压力 较 大 ， 对 热 迁 移 构 成 挑战 。 一 般 可 以 采用 如 下 技术 提升 热 迁 移 
的 效果 。 
混合 拷贝 热 迁 移 ， 具 体 如 下 。 
~ Precopy 和 Postcopy 按 需 自 适应 切换 ， 避 人 免 重 载 业 务 无 限制 迭 
代 拷 贝 。 
” 前 台 和 后 台数 据 传输 带宽 管控 ， 充 分 利用 带宽 完成 后 台 传 
输 。 
” 识别 热点 内 存 ， 减 少 缺 页 概率 。 
RDMA/RoCE 热 迁移 加 速 的 具体 方法 如 下 : 
” 通过 RDMA 人 硬件 能 力 加 速 ， 提 升迁 移 效率 ; 
> 以 vMotion 与 RDMA 相 结合 的 方式 加 速 ; 
” 采用 RoCE 网 卡 直通 技术 ; 


” 在 Host 中 集成 RoCE 协 议 栈 ， 改 造 热 迁 移 等 服务 采用 的 协议 
栈 。 


4.2.2 ”计算 资源 池 的 动态 资源 调度 管理 和 动态 能 耗 管理 


在 云 化 资产 池 的 环境 下 ， 虚 拟 机 的 负载 是 动态 变化 的 ， 因 此 计算 
资源 闻 的 管理 系统 需要 实现 对 于 虚拟 机 部 署 位 置 的 自动 化 调整 ， 以 保 
障 虚 拟 机 能 够 获得 所 需要 的 资源 ， 同 时 也 保障 资源 池内 的 负载 是 均衡 
的 ， 从 而 保障 资源 闻 资 源 的 高 效 利用 。 

实现 该 技术 的 方式 ， 通 常 称 为 动态 资源 调度 管理 ， 简 称 为 DRS 

(Dynamic Resource Schedule) 。 

DRS 周 期 性 监控 集群 下 的 物理 主机 和 虚拟 机 负载 (CPU 和 内 
存 ) ， 如 果 主 机 负载 的 不 均衡 度 (标准 方差 ) 超过 集群 配置 的 阅 值 ， 
则 触发 虚拟 机 迁移 ， 使 得 集群 范围 内 的 负载 区 域 平衡 。 作 为 DRS 的 扩 
展 功 能 ，DPM (Distributed Power Management， 分 布 式 电源 管理 ) 支 
持 在 集群 负载 低 Ce 时 ， 主 动 对 
某 些 主机 进行 下 电 ， 达 到 节能 减 排 的 目的 ， 同 时 在 集群 负载 高 (负载 
大 于 集群 配置 的 阀 值 ) 时 ， 重 新 启动 一 些 主机 ， 满 足 业 务 需要 。 

以 下 是 DRS 的 几 种 基本 的 应 用 场景 。 

景 1: 集群 内 主机 间 的 负载 不 均衡 ， 调 度 后 将 部 分 虚拟 机 从 负载 
高 的 主机 迁移 至 负载 低 的 主机 ， 达 到 负载 均衡 。 

景 2: 集群 内 主机 间 的 负载 不 均衡 ， 负 载 也 较 低 ， 调 度 后 负载 达 
到 平衡 ， 同 时 对 经 过 评估 可 以 下 电 的 主机 (物理 主机 3) 进行 下 电 。 

景 3: 集群 内 主机 的 负载 均 很 高 ， 调 度 后 将 处 于 已 下 电 状 态 的 主 
机 (物理 主机 3) 上 电 ， 并 将 部 分 虚拟 机 迁移 至 负载 低 的 主机 上 ， 达 到 
负载 均衡 。 


实现 DRS 和 DPM 的 调度 算法 很 多 ， 通 癌 衡 量 一 个 资产 池内 部 的 负 
载 不 平衡 的 程度 ， 可 以 采用 每 个 计算 服务 器 世 氮 的 负载 与 资产 池 平 均 
负载 差异 值 的 标准 方差 来 衡量 。 差 值 越 大 ， 表 示 该 节点 与 资源 闻 平 均 
负载 的 差异 越 大 ， 越 需要 调整 其 负载 ， 以 保证 尽快 将 集群 的 负载 进行 
均衡 。 

关于 进行 资源 平衡 调整 的 方法 ， 业 界 有 很 多 的 实现 方式 。 其 会 针 
对 不 同 的 负载 疲 动 水 平 ， 不 同 的 业务 可 靠 性 要 求 ， 在 集群 负载 收集 的 
时 间 和 门限 、 计 算 节 点 负载 调 束 的 门限 和 时 间 间 隅 等 处 理 上 进行 不 同 
的 调整 。 比 较 优 展 的 算法 还 会 保证 根据 历史 的 运行 状况 进行 负载 预 
测 ， 以 避免 负载 调整 的 震 沪 。 

通常 情况 下 ， 动 态 资源 调整 主要 考虑 CPU 和 内 存 的 负载 变化 情 
况 ， 但 网 络 和 存储 的 负载 在 面 对 电 信和 企业 关键 应 用 中 也 是 重要 的 且 
必须 考虑 的 因素 ， 针 对 CPU/ 内 存 /网 络 /存储 等 多 维 资源 的 负载 预测 可 
以 采用 以 上 类 似 算法 。 

真正 进行 负载 调整 时 ， 进 行业 务 部 署 调 整 的 原则 为 : 负载 方差 大 
于 阅 值 ， 或 物理 机 利用 率 超过 阅 值 。 

需要 进行 部 署 位 置 调 整 的 源 VM 选 择 原则 为 : 选择 离 均值 最 远 的 物 
理 主机 之 上 的 “最 有 效 *VM ( 即 迁移 后 使 该 物理 主机 的 负载 最 靠近 均 
值 ) 。 

目标 物理 主机 选择 的 原则 : 选择 接受 产 VM 后 方差 下 降 最 多 的 物理 
主机 。 

通过 重复 步骤 计算 ， 直 到 方差 低 于 阅 值 或 者 达到 VM 渤 移 次 数 限 
制 。 

需要 说 明 的 是 ， 对 于 虚拟 机 和 物理 机 的 负载 计算 方法 ， 动 态 能 耗 
管理 的 方法 实际 上 与 动态 资产 调度 管理 的 方法 是 一 致 的 ， 主 要 的 区 别 


在 于 动态 能 耗 管理 需要 尽量 地 合并 物理 主机 上 的 虚拟 机 业务 ， 以 尽量 
少 的 物理 机 占用 达成 节省 能 产 消 耗 的 目的 。 


SO ‘ie: = 


4.3 EE 


在 云 计 算 的 条 件 下 ， 因 业务 运行 所 需要 的 资源 是 通过 软件 模拟 或 
者 软件 管理 分 配 的 方式 提供 的 ， 也 就 是 说 在 业务 运行 负载 和 物理 硬件 
之 间 引 入 了 Hypervisor 作 为 管理 层 ， 保 证 业务 运行 的 可 靠 性 。 

在 通过 虚拟 化 技术 保障 云 计算 条 件 下 的 业务 运行 可 靠 性 方面 ， 当 
前 业界 发 展 出 来 的 技术 主要 有 以 下 两 种 : QD) 基 于 冷 备 机 制 的 虚拟 化 HA 
保护 ， 这 种 方式 主要 提供 了 在 物理 硬件 故障 的 条 件 下 ， 选 择 资源 闻 中 
的 其 他 健康 物理 主机 重新 部 署 虚拟 机 ， 并 在 原 有 数据 不 丢失 的 条 件 
下 ， 尽 快 恢复 虚拟 机 业务 ; @ 基 于 虚拟 机 热 备 机 制 的 虚拟 机 运行 态 镜 
像 风 余 方案 ， 这 种 方式 主要 是 在 不 同 的 物理 主机 上 ， 提 供 虚 拟 机 业务 
运行 的 镜像 元 余 ， 在 一 台 物 理 主 机 发 生 故 障 的 时 候 ， 自 动 由 另外 一 台 
主机 上 的 虚拟 机 业务 运行 镜像 接管 进行 业务 处 理 ， 从 而 保证 虚拟 机 的 
业务 不 发 生 中 断 。 

上 述 两 种 方式 实现 的 技术 难度 和 工程 化 部 署 的 要 求 限制 不 一 样 。 
其 中 冷 备 机 制 实现 扩 术 难度 较 低 ， 对 工程 化 部 署 的 限制 和 要 求 较 少 ， 
在 业界 得 到 广泛 的 应 用 。 热 备 机 制 的 实现 难度 较 大 ， 同 时 ， 因 需要 提 
供 虚 拟 机 运行 业务 镜像 元 余 ， 虚 拟 机 的 性 能 会 有 额外 的 占用 ， 同 时 也 
需要 在 工程 化 部 署 时 保证 虚拟 机 的 业务 组 网 能 够 在 切换 的 条 件 下 平滑 
过 渡 ， 对 于 业务 组 网 的 要 求 较 高 ， 所 以 现 阶 段 的 应 用 还 处 于 逐步 走 同 
成 熟 的 过 程 。 


4.3.1 ”基于 冷 备 机 制 的 虚拟 机 HA 保护 


当 物 理 服务 器 宕 机 或 者 重启 时 ， 系 统 可 以 将 具有 HA 属性 的 故障 虚 
拟 机 迁移 到 其 他 物理 服务 器 ， 保 证 虚拟 机 快速 恢复 。 

由 于 单个 集群 内 可 以 运行 上 千 个 虚拟 机 ， 当 某 个 或 某 些 服务 器 罕 
机 后 ， 为 避免 大 量 虚拟 机 迁移 造成 网 络 拥塞 和 目的 服务 器 过 载 ， 系 统 
会 根据 网 络 流量 、 目 的 服务 器 负荷 选择 将 虚拟 机 迁移 到 不 同 的 目的 服 
务 器 。 

当 VRM (Virtual Resource Manager， 虚 拟 资源 管理 器 ) 与 物理 服 
务 器 上 的 计算 代理 心跳 中 断 超过 30 秒 时 ， 会 触发 虚拟 机 HA， 当 一 个 
虚拟 机 由 运行 状态 突然 异常 消失 时 ， 也 会 触发 HA 在 其 他 正常 的 计算 节 
扣 上 快速 恢复 业务 。 

通过 存储 层面 的 锁 机 制 可 防止 同一 个 虚拟 机 实例 在 多 个 物理 机 器 
上 同时 启动 。 

当 一 个 物理 服务 器 节点 掉 电 恢复 后 ， 业 务 进程 开机 自 启 动 恢 复 ， 
之 前 运行 的 虚拟 机 全 部 故障 迁移 至 其 他 物理 节点 。 


4.3.2 ”基于 热 备 机 制 的 虚拟 机 运行 业务 镜像 元 余 方 案 


在 虚拟 环境 下 设置 主 备 虚拟 机 ， 在 备 节点 上 创建 主 虚拟 机 的 完整 
拷贝 。 主 节点 上 虚拟 机 的 CPU 状 态 、 内 存 、 磁 盘 操 作 、QEMU 等 与 备 
节 点 虚拟 机 保持 低 延 迟 的 定时 同步 。 备 节点 虚拟 机 定时 检测 主 节点 虚 
拟 机 心跳 ， 在 指定 时 间 内 收 不 到 心跳 即 认 为 异常 发 生 ， 备 虚拟 机 切换 
到 正常 运行 状态 。 这 个 方案 的 优势 是 主 备 节 点 可 以 保持 状态 完全 同 
步 ， 数 据 完 全 一 致 ， 缺 点 是 会 市 来 一 些 性 能 开销 。 


4.3.3 ”无 状态 计算 及 物理 机 可 靠 性 保障 


虚拟 机 的 本 质 就 是 通过 虚拟 化 技术 ， 将 一 人 台 物 理 服 务 器 虚拟 成 多 
个 计算 机 。 虚 拟 机 之 间 彼 此 相互 独立 ， 一 个 虚拟 机 故障 不 会 影响 其 他 
虚拟 机 。 用 户 对 虚拟 机 的 使 用 体验 和 对 传统 物理 机 的 体验 相同 。 

在 一 个 虚拟 机 内 的 任何 操作 ， 不 会 对 同一 台 物 理 服务 器 上 的 其 他 
虚拟 机 和 虚拟 化 平台 目 身 的 可 用 性 产生 危害 。 即 使 虚拟 机 的 运行 出 现 
故障 ， 比 如 操作 系统 衣 演 、 应 用 程序 错误 导致 死机 等 情况 ， 同 一 物理 
服务 器 上 的 虚拟 化 平台 以 及 其 他 虚拟 机 仍然 可 以 正常 运行 ， 继 续 为 用 
尸 提 供 服 务 。 


第 5 章 面向 网 络 目 动 化 、 多 租户 
的 网 络 虚拟 化 


5.1 _ 网 乡 的 驱动 力 刁 二 
网 络 虚 拟 化 的 驱动 力 


服务 器 和 存储 虚拟 化 技术 的 迅猛 发 展 ， 使 得 动态 快速 分 配 计算 资 
关 和 存储 资源 成 为 很 平常 的 事 ， 从 而 大 大 缩短 了 创建 虚拟 服务 器 的 时 
间 。 相 比 之 下 ， 目 前 的 传统 网 络 染 构 明 显 落后 于 虚拟 化 的 要 求 ， 成 为 
整个 资源 分 配 流程 中 的 短 板 ， 表 现在 如 下 方面 。 

” 传统 网 络 在 虚拟 化 场景 下 应 用 部 署 效率 低 : 在 很 多 情况 下 提 
供 网 路 资源 需要 手工 配置 、 网 络 交换 机 端口 配置 、ACL、 路 
由 ， 等 等 。 网 络 和 应 用 安全 策略 的 部 署 仍然 需要 手工 配置 ， 
自动 化 程度 很 低 。 

” 了 网络 变更 困难 ， 每 次 人 工 配置 都 需要 小 心 翼 收 ， 需 要 网 络 专 
家 化 费 大 量 的 时 间 来 连接 不 通 的 设备 ， 任 何 小 的 下 忽 都 可 能 
造成 网 络 故 障 。 应 用 的 部 署 也 不 得 不 拖延 几 天 、 几 周 甚至 更 
长 时 间 ， 直 到 网 络 资 源 最 终 准 备 好 了 为 止 。 

” 网 络 没有 移动 性 : 网 络 的 配置 绑 定 于 硬件 。 网 络 配置 的 状态 
遍及 大 量 独立 的 网 络 设备 (物理 的 和 虚拟 的 ) 。 底 层 
VLAN、 网 天 、 防 火 墙 等 物理 资产 的 部 署 限制 了 计算 资源 的 
部 署 与 目 由 迁移 。 


” 不 能 充分 利用 网 络 资源 : 大 多 数 公司 能 利用 到 网 络 资源 的 30% 
人 40%， 很 多 情况 下 大 量 资源 内 置 ， 而 某 蔡 时 候 由 于 效 据 量 
周期 性 的 猛 增 ， 又 造成 网 络 资源 不 够 。 很 多 ISP 或 者 通讯 网 络 
提供 商 们 很 头痛 ， 在 用 己基 本 收费 增长 不 大 的 情况 下 ， 用 户 
期 望 的 数据 流量 却 比 以 往 增 大 很 多 。 除 了 网 络 扩容 之 外 ， 更 
重要 的 是 提高 目前 已 有 网 络 的 利用 率 〈 见 图 5-1) 。 


服务 器 虚拟 化 网 络 虚 拟 化 
虚拟 机 虚拟 网 络 
遇 ie 逻辑 交换 机 逻辑 路 由 器 
vRAM 逻辑 负载 均衡 ”逻辑 防火 墙 
自动 化 
软件 API 自动 化 软件 API 自动 化 
虚拟 化 层 | | 复制 | | 虚拟 化 层 
硬件 本 手动 硬件 手动 
键盘 、 和 鼠标 、CLI 解 直 | 键盘、 鼠标 、 命 令 行 界面 (CL 
NIC CPU FW VLANSs 
计算 网 络 
HD RAM LB VRF 


| x86 | | 包 转 发 | 


图 5-1 网络 虚拟 化 与 服务 器 (计算 ) 虚拟 化 类 比 


对 网 络 虚拟 化 的 关键 需求 


(1) 与 物理 层 解 耦 : 网 络 虚 拟 化 的 目标 是 接管 所 有 的 网 络 服务 、 
特性 和 应 用 的 虚拟 网 络 必要 的 配置 (VLANs、VRFs、 防 火 墙 规则 、 负 
载 均 衡 闻 &VIPs、IPAM、 路 由 、 隔 离 、 多 租户 等 ) ， 从 复杂 的 物理 网 
络 中 抽取 出 简化 的 逻辑 网 络 设备 和 服务 ， 将 这 些 逻 辑 对 象 映射 给 分 布 
式 虚 拟 化 层 ， 通 过 网 络 控制 器 和 云 管理 平台 的 接口 来 消费 这 些 虚 拟 网 


络 服务 ， 从 而 使 应 用 只 需 和 虚拟 化 网 络 层 打交道 ， 将 复杂 的 网 络 硬 件 
变 为 “隐士 >， 不 给 IT 增加 烦恼 。 

(2) 网 络 服务 抽象 : 虚拟 网 络 层 可 以 提供 逻辑 端口 、 逻 辑 交 换 机 
和 路 由 器 、 分 布 式 虚 拟 防 火场 、 虚 拟 负载 均衡 器 等 ， 并 可 同时 确保 这 
些 网 络 设备 和 服务 的 监控 、QoS 和 安全 。 这 些 逻 辑 网 络 对 象 就 像 服务 
器 虚拟 化 出 来 的 vCPU 和 内 存 一 样 ， 可 以 和 任意 安全 策略 自由 组 合成 任 
意 拓扑 的 虚拟 网 络 。 

(3) 网 络 按 需 自动 化 : 通过 API 自 动 化 部 署 ， 一 个 完整 的 、 功 能 
丰富 的 虚拟 网 络 可 以 自由 定义 任何 约束 在 物理 交换 基础 上 的 设施 功 
能 、 拓 扑 或 资源 。 通 过 网 络 虚拟 化 ， 每 个 应 用 的 虚拟 网 络 和 安全 拓扑 
就 拥有 了 移动 性 ， 同 时 实现 了 和 流动 的 计算 层 绑 定 ， 并 且 可 通过 API 自 
动 部 署 ， 又 确保 了 和 专 有 物理 人 硬件 解 耦 。 

(4) 支持 多 租户 网 络 安全 隔离 : 计算 虚拟 化 使 多 种 业务 或 不 同 租 
户 资源 共享 同一 个 数据 中 心 资 产 ， 但 其 同时 需要 为 多 租户 提供 安全 陋 
离 网 络 。 


5.2_SDN 架 构 


解决 云 数 据 中 心 网 络 问题 存在 不 同 的 方式 ，SDN (Software- 
Defined Networking) 是 其 中 之 一 。SDN 并 不 是 具体 的 技术 ， 而 是 一 种 
全 新 的 网 络 设计 框架 ，SDN 的 核心 理念 是 改变 传统 网 络 对 数据 流 的 控 
制 方式 。 在 传统 网 络 中 ， 网 络 采用 分 布 式 控制 面 ， 报 文 从 源 到 目的 的 
转发 行为 由 各 个 网 络 节点 自己 独立 控制 和 完成 ， 每 个 网 络 节点 都 需要 
独立 的 配置 。SDN 框 架 中 的 网 络 ， 控 制 面 与 转发 面 是 分 离 的 ， 转 发 面 
与 具体 协议 无 关 〈 见 图 5-2、 图 5-3) 。 


业务 应 用 | | 业务 应 用 | | 业务 应 用 


API API API 

控制 层 国人 网 络 服务 网 络 服务 “|| 网 络 服务 
控制 数据 平面 接口 
(例如 : OpenFlow) 


网 络 设备 


图 5-2”SDN 架 构 


开放 可 编程 


图 5-3” ”SDN 特点 与 价值 
(1) 控制 面 与 转发 面 分 离 : 控制 面 更 灵活 ， 转 发 面 抽 象 与 标准 


化 。 

(2) 集中 化 的 网 络 控制 : 控制 软件 具备 全 局 网 络 视图 ， 策 略 转发 
规则 集中 。 

(3) 网 络 开放 可 编程 。 

(4) 网 络 业 务 的 自动 化 应 用 程序 控制 。 


对 于 SDN 业 界 并 无 标准 的 理解 ， 具 体 含 义 与 其 运行 的 网 络 领域 和 
其 使 用 的 策略 和 协议 相关 。 以 下 是 几 种 SDN 思 路 ， 如 图 5-4 所 示 。 


Open 
Networking 
Foundation 


IETE 


云 计算 软件 厂商 
(如 VMWARE) 


ETSI 


OpenFlow 
控制 转发 分 离 


OpenAPI 
控制 面 开放 


Overlay/NVo3 
虚拟 逻辑 网 络 


NFV， 网 络 功 能 虚拟 化 


图 5-4” SDN 路 线 


5.2.1 IETF 定 义 的 SDN 架 构 介 绍 


网 络 革 新 路 线 
技术 难度 高 ， 各 场景 适 配 复杂 


网 络 优化 路 线 
网 管 优 化 、 提 高 自动 化 能 力 ， 但 
开放 不 足 ， 客户 开发 难度 大 


斐 路 线 
IT 新 思路 ， 当 前 主要 针对 DC 内 虚拟 
化 场景 ， 缺 乏 统 一 网 络 资源 管理 


网 络 设备 软化 路 线 
运营 商 新 思路 局 ， 部 优化 网 关 功能 
通用 性 ， 关 键 在 标准 与 部 署 


IETF 作 为 传统 网 络 架 构 的 制定 者 ， 其 核心 思路 是 重用 当前 的 技术 
而 不 是 OpenFlow， 并 天 注重 点 设备 控制 面 的 功能 与 开放 API。 

XML-based SDN (Software-Defined Networking) ， 使 用 Netconf 等 
设备 存在 的 接口 对 现 有 设备 进行 配置 ， 对 当前 设备 不 修改 〈 见 图 5- 


避 
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IRS Diameter Netflow | XML/Snmp/CLI 
现存 路 由 器 交换 机 


图 5-5 ”I2RS 与 其 他 现存 设备 接口 
IETF I2RS (Interface to Routing System: 路 由 系统 接口 ) 工作 组 希 
望 将 路 由 协议 中 的 策略 配置 运行 在 集中 的 控制 器 上 ， 控 制 器 通过 设备 
反馈 的 事件 、 路 径 拓 扑 和 网 络 流量 信息 来 动态 下 发 路 由 状态 、 策 略 到 
设备 上 ， 具 体 的 路 由 计算 还 是 由 各 个 网 络 设备 分 布 式 完 成 。 


5.2.2 ”ONF OpenFlow 网 络 架 构 


OpenFlow 起 源 于 斯 坦 福 大 学 的 Clean Slate 项 目 组 。 该 项 目的 最 终 
目的 是 重新 发 明 互 联网 ， 间 在 改变 设计 已 略 显 不 合 时 宜 ， 且 难以 进化 
发 展 的 现 有 网 络 基础 架构 。 在 2006 年 ， 斯 坦 福 的 学 生 Martin Casado 领 
导 了 一 个 关于 网 络 安 全 与 管理 的 项 目 Ethane， 该 项 目 试图 通过 一 个 集 
中 式 的 控制 器 ， 让 网 络 管理 员 可 以 方便 地 定义 基于 网 络 流 的 安全 控制 
策略 ， 并 将 这 些 安全 策略 应 用 到 各 种 网 络 设备 中 ， 从 而 实现 对 整个 网 
络 通信 的 安全 控制 。 受 此 项 目 (及 Ethane 的 前 续 项 目 Sane) 启发 ， 
Martin 和 他 的 导师 Nick McKeown 教 授 (时 任 Clean Slate 项 目的 Faculty 
Director) 发 现 ， 如 果 将 Ethane 的 设计 更 一 般 化 ， 将 传统 网 络 设 备 的 数据 
转发 (Data Plane) 和 路 由 控制 (Control Plane) 两 个 功能 模块 相 分 
离 ， 通 过 集中 式 的 控制 器 (Controller) 以 标准 化 的 接口 对 各 种 网 络 设 
备 进 行 管理 和 配置 ， 那 么 这 将 为 网 络 资源 的 设计 、 管 理 和 使 用 提供 更 
多 的 可 能 性 ， 从 而 更 容易 推动 网 络 的 革新 与 发 展 。 于 是 ， 他 们 便 提 出 


了 OpenFlow 的 概念 ， 并 且 Nick McKeown 等 人 于 2008 年 在 ACM 
SIGCOMM (美国 计算 机 协会 数据 通信 专业 组 会 议 ) 发 表 了 题 为 
“OpenFlow: Enabling Innovation in Campus Networks” 的 论文 ， 首 次 详细 
地 介绍 了 OpenFlow 的 概念 。 

SDN 的 设计 理念 是 将 网 络 的 控制 面 与 数据 转发 面 进行 分 离 ， 并 实 
现 可 编程 化 控制 。SDN 的 典型 架构 共 分 三 层 ， 最 上 层 为 应 用 层 ， 包 括 
各 种 不 同 的 业务 和 应 用 ;中间 的 控制 层 主要 负责 处 理 数据 平面 资源 的 
编排 ， 维 护 网 络 拓扑 、 状 态 信息 等 ， 在 OpenFlow 环 境 中 ， 控 制 器 会 使 
用 OpenFlow 协 议和 Netconf 协 议 与 交换 机 联系 (OpenFlow 是 将 流 数 据 发 
送 到 交换 机 的 API， 而 NETCONF 是 网 络 配置 APD)。 最 底层 的 基础 设施 
层 负责 进 行 基于 流 表 的 数据 处 理 、 转 发 和 状态 收集 〈 见 图 5-6) 。 

SDN 本 质 上 具有 “控制 和 转发 分 离 "` “设备 资源 虚拟 化 "和 “通用 人 硬 
件 及 软件 可 编程 ”三 大 特性 ， 这 审 来 了 一 系列 的 好 处 。 

第 一 ， 设 备 硬 件 归 一 化 ， 硬 件 只 关注 转发 和 存储 能 力 ， 与 业务 特 
性 解 午 ， 可 以 采用 相对 廉价 的 商用 架构 来 实现 。 


OF-Config 报 文 Packet in/out 
(e.g. unmatched or specified) 


图 5-6 ”基于 OpenFlow 的 控制 与 转发 分 离 体系 结构 
第 二 ， 网 络 的 智能 性 全 部 由 软件 实现 ， 网 络 设备 的 种 类 及 功能 
软件 配置 而 定 ， 对 网 络 的 操作 控制 和 运行 由 服务 器 作为 网 络 操作 系统 


(NOS) 来 完成 。 

第 三 ， 对 业务 响应 相对 更 快 ， 可 以 定制 各 种 网 络 参数 ， 如 路 由 、 
安全 、 策 略 、QoS、 流 量 工 程 等 ， 并 实时 配置 到 网 络 中 ， 开 通 具体 业 
务 的 时 间 将 缩短 。 

ONF SDN 的 三 大 要 素 ， 具 体 如 下 。 

(1) 转发 与 控制 分 离 ， 这 使 得 网 络 交 换 机 的 数据 转发 变 得 更 加 简 
单 、 快 速 ; 同时， 控制 变 成 了 网 络 操作 系统 中 一 个 相对 集中 的 逻辑 功 
能 。 

(2) ”OpenFlow 协 议 ， 它 向 交换 机 传送 转发 表 ， 交 换 机 依 此 转发 
报 文 。 这 种 做 法 与 传统 网 络 完全 不 同 。 在 传统 网 络 架 构 中 ， 交 换 机 和 
路 由 器 需要 自己 决定 报 文 的 转发 路 径 ， 这 可 能 会 给 网 络 运营 商 带 来 一 
些 不 可 预知 的 负面 影响 ， 包 括 成 本 增加 、 人 性 能 降低 、 上 市 时 间 延 缓 
等 。 有 了 SDN， 控 制 软件 决定 报 文 的 转发 路 径 ， 使 得 运营 商 可 以 “随心 
所 欲 ” 地 控制 网 络 。 

(3) 具有 一 致 性 的 、 全 系统 范围 的 网 络 操作 系统 可 编程 接口 ， 它 
能 让 网 络 实现 真正 意义 上 的 可 编程 或 者 软件 定义 。 如 果 不 能 实现 转发 
与 控制 分 离 ， 那 么 几乎 所 有 SDN 所 能 带 来 的 好 处 都 无 法 体现 ， 如 果 能 
实现 转发 和 控制 分 离 ， 但 没有 OpenFlow 协 议 ， 那 么 就 需要 通过 其 他 途 
径 ， 将 所 需要 的 流量 表 信 息 传递 给 交换 机 。OpenFlow 就 是 实现 这 一 功 
能 的 行业 标准 。 

OpenFlow/SDN 吸 引 了 业界 越 来 越 多 的 关注 ， 成 为 近年 来 名 副 其 实 
的 热门 技术 。 目 前 ， 包 括 HP、IBM、 Cisco、NEC 以 及 国内 的 华为 和 中 
兴 等 在 内 的 传统 网 络 设备 制造 商都 已 纷纷 加 入 OpenFlow 的 阵营 ， 同 时 
有 一 些 支持 OpenFlow 的 网 络 硬 件 设备 已 经 面世 。2011 年 ， 开 放 网 络 基 
金 会 (Open Networking Foundation) 在 Nick 等 人 的 推动 下 成 立 ， 专 门 


负责 OpenFlow 标 准 和 规范 的 维护 和 发 展 ; 同年 ， 第 一 届 开 放 网 络 峰会 

(OpenNetworking Summit) 召开 ， 为 OpenFlow 和 SDN 在 学 术 界 和 工业 
界 都 做 了 很 好 的 介绍 和 推广 。2013 年 召开 的 第 二 届 峰 会 上 ， 来 自 
Google 的 Urs H6lzle 在 以 “OpenFlow@Google” 为 题 的 Keynote 演 讲 中 宣布 
Google 已 经 在 其 全 球 各 地 的 数据 中 心 骨干 网 络 中 大 规模 地 使 用 
OpenFlow/ SDN， 从 而 证 明了 OpenFlow 不 再 是 仅仅 停留 在 学 术 界 的 一 
个 研究 模型 ， 而 是 已 经 完全 具备 了 可 以 在 产品 环境 中 应 用 的 技术 成 熟 
度 。 最 近 ，Facebook 也 宣布 其 数据 中 心中 使 用 了 OpenFlow/SDN 的 技 
术 。 


5.2.3 ”OpenFlow 协 议 介绍 


自 2010 年 初 发 布 第 一 个 版 本 (v1.0) 以 来 ，OpenFlow 规 范 已 经 经 
历 了 1.1、1.2、1.3、1.4 等 版 本 。 同 时 ，OpenFlow 管 理 和 配置 协议 也 发 
布 了 第 一 个 版 本 (OF-Config 1.0 & 1.1) 。 
OF 规范 主要 分 为 如 下 四 大 部 分 。 
(1) ”OpenFlow 的 端口 (Port) 
OpenFlow 规 范 将 Switch 上 的 端口 分 为 三 种 类 别 : 
” 物理 端口 ， 即 设备 上 物理 可 见 的 端口 ; 
” 逻辑 端口 ， 在 物理 端口 基础 上 由 Switch 设备 抽象 出 来 的 逻辑 端 
口 ， 如 为 tunnel 或 者 聚合 等 功能 而 实现 的 逻辑 端口 ; 

> OpenFlow 目 前 总 共 定 义 了 ALL、CONTROLLER、TABLE、 
IN_PORT、ANY、LOCAL 、NORMAL 和 FLOOD 这 8 种 端 
口 ， 其 中 后 三 种 为 非 必需 的 端口 ， 只 在 混合 型 的 OpenFlow 
Switch (OpenFlow-hybrid Switch ， 即 同时 支持 传统 网 络 协议 


栈 和 OpenFlow 协 议 的 Switch 设备 ， 相 对 于 OpenFlow-only 
Switch 而 言 ) 中 存在 。 
(2) OpenFlow 的 FlowTable (国内 直译 为 “ 流 表 ”) 
OpenFlow 通 过 用 户 定义 的 或 者 预 设 的 规则 来 匹配 和 处 理 网 络 包 。 
一 条 OpenFlow 的 规则 由 匹配 域 (Match Fields) 、 优 先 级 (Priority) 、 
处 理 指令 (Instructions) 、 统 计数 据 (如 Counters) 、 超 时 时 间 
(Timeout) 、 附 属 属性 (Cookie〉 等 字段 组 成 ， 如 图 5-7 所 示 。 


图 5-7 ”OpenFlow 规 则 

在 一 条 规则 中 ， 可 以 根据 网 络 包 在 L2、L3 或 者 L4 等 网 络 报 文 头 的 
任意 字段 进行 匹配 ， 比 如 以 太 网 帧 的 源 MAC 地 址 ，IP 包 的 协议 类 型 和 
IP 地 址 ， 或 者 TCP/UDP 的 端口 号 等 。 目 前 OpenFlow 的 规范 中 还 规定 了 
Switch 设 备 厂商 可 以 选择 性 地 支持 通配符 进行 匹配 。 据 说 ，OpenFlow 
在 未 来 还 计划 支持 对 整个 数据 包 的 任意 字段 进行 匹配 。 

所 有 OpenFlow 的 规则 都 被 组 织 在 不 同 的 FlowTable 中 ， 在 同一 个 
FlowTable 中 按 规则 的 优先 级 进行 先后 匹配 。 一 个 OpenFlow 的 Switch 可 
以 包含 一 个 或 者 多 个 FlowTable， 从 0 依次 编号 排列 。OpenFlow 规 范 中 
定义 了 流水 线 式 的 处 理 流 程 ， 如 图 5-8 所 示 。 当 数据 包 进 入 Switch 后 ， 
必须 从 FlowTable 0 开始 依次 匹配 ; FlowTable 可 以 按 次 序 从 小 到 大 越级 
跳 转 ， 但 不 能 从 某 一 FlowTable 向 前 跳 转 至 编号 更 小 的 FlowTable。 当 数 
据 包 成 功 匹 配 一 条 规则 后 ， 将 首先 更 新 该 规则 对 应 的 统计 数据 (如 成 
功 匹 配 数据 包 总 数目 和 总 字 节 数 等 ) ， 然 后 根据 规则 中 的 指令 进行 相 
应 操作 一 一 比如 跳 转 至 后 续 某 一 FlowTable 继 续 处 理 ， 修 改 或 者 立即 执 
行 该 数据 包 对 应 的 Action Set 等 。 当 数据 包 已 经 处 于 最 后 一 个 FlowTable 


时 ， 其 对 应 的 Action Set 中 的 所 有 Action 将 被 执行 ， 包 括 转发 至 某 一 端 
口 ， 修 改 数 据 包 某 一 字段 ， 丢 弃 数 据 包 等 。OpenFlow 规 范 中 对 目前 所 
支持 的 Instructions 和 Actions 进 行 了 完整 详细 的 说 明和 定义 。 


Packet In 
Start at table 0 


Update counters 
Match in Execute Instructions: Goto- 
*Update action set Table n? 


table n? *Update packet/match set fields 
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seUpdate metadata 


Table-miss 
flow entry 
exists? 


5-8 ”OpenFlow 流 表 匹 配 过 程 


另外 ，OpenFlow 规 范 中 还 定义 了 很 多 其 他 功能 和 行为 ， 比 如 
OpenFlow 对 于 QoS 的 支持 ( 即 MeterTable 和 Meter Bands 的 定义 等 ) ， 
对 于 GroupTable 的 定义 ， 以 及 规则 的 超时 处 理 等 。 

(3) OpenFlow 的 通信 通道 
OpenFlow 规 范 定义 了 一 个 OpenFlow Switch 如 何 与 Controller 建 立 连 
接 、 通 信 以 及 相关 消息 类 型 等 。 
OpenFlow 规 范 中 定义 了 三 种 消息 类 型 。 
~ Controller/Switch 消 息 ， 是 指 由 Controller 发 起 、 Switch 接 收 并 
处 理 的 消息 ， 主 要 包括 Features、 Configuration、 Modify- 


State、 Read-State 、 Packet-out、 Barrier 和 Role-Request 等 消 
息 。 这 些 消息 主要 由 Controller 用 来 对 Switch 进行 状态 查询 和 
修改 配置 等 操作 。 
~ 异步 Asynchronous) 消息 ， 是 由 Switch 发 送 给 Controller、 用 
来 通知 Switch 上 发 生 的 某 些 异步 事件 的 消息 ， 主 要 包括 
Packet-in、Flow-Removed、 Port-status 和 Error 等 。 例 如 ， 当 某 
一 条 规则 因为 超时 而 被 删除 时 ，Switch 将 自动 发 送 一 条 Flow- 
Removed 消 息 通 知 Controller， 以 方便 Controller 做 出 相应 的 操 
作 ， 如 重新 设置 相关 规则 等 。 
” 对 称 (Symmetric) 消息 ， 顾 名 思 义 ， 这 些 都 是 双向 对 称 的 消 
息 ， 主 要 用 来 建立 连接 、 检 测 对 方 是 否 在 线 等 ， 包 括 Hello、 
Echo 和 Experimenter 三 种 消息 。 
图 5-9 ”展示 了 OpenFlow 和 Switch 之 间 一 次 典型 的 消息 交换 过 程 ， 
出 于 安全 和 高 可 用 性 等 方面 的 考虑 ，OpenFlow 的 规范 还 规定 了 如 何 为 
Controller 和 Switch 之 间 的 信道 加 密 、 如 何 建立 多 连接 等 ( 主 连接 和 辅 
助 连接 ) 。 
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FEATURES REQUEST 
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SET_CONFIG 
FLOW MOD 


ECHO REQUEST 


ECHO REPLY 


图 5-9 ”控制 器 与 Switch 交互 过 程 
(4) OpenFlow 协 议 及 相关 数据 结构 
在 OpenFlow 规 学 的 最 后 一 部 分 ， 主 要 详细 定义 了 各 种 OpenFlow 消 
息 的 数据 结构 ， 包 括 OpenFlow 消 息 的 消息 头等 。 


5.2.4 OF-Config 


OF-Config 是 OpenFlow 的 伴侣 协议 。OpenFlow 实 现 了 Flow 的 match- 
action 相 关 行 为 ， 但 其 他 Flow 依 赖 的 资源 都 依赖 OF-Config 进 行 管理 ， 
包括 : 配置 OpenFlow Controller 地 址 、 队 列 和 物理 端口 、 逻 辑 端口 、 通 
信 信 道 、 交 换 机 能 力 发 现 等 。 对 转发 面 的 配置 与 管理 ， 也 有 定义 私有 
协议 方案 ， 如 Open vSwitch 使 用 自 定义 的 OVSDB。 


5.2.5 ”ONF 及 OpenDayLight 标 准 联盟 


开放 网 络 基金 会 (ONF，Open Networking Foundation) 是 一 个 组 
织 机 构 ， 致 力 于 软件 定义 网 络 (SDN) 的 发 展 和 标准 化 。ONF 的 主要 
任务 是 培养 一 个 网 络 环境 ， 这 种 环境 能 够 支持 OpenFlow，OpenFlow 是 
一 个 允许 服务 器 通知 交换 器 往 哪 里 发 送 数据 包 的 协议 。ONF 的 董事 会 
成 员 包 括 微软 、Google 和 Verizon。 普通 会 员 有 几 十 个 ， 包 括 思 科 、 富 
士 通 、IBM、NEC、 三 星 和 惠普 。 

2013 年 4 月 ，SDN 行 业 组 织 OpenDaylight 宣 告 成 立 。 其 成 员 包括 
Arista、Big Switch、 博 科 、 思 科 、 思 杰 、 戴 尔 、 爱 立信 、 富 士 通 、 
IBM、 英 特 尔 、 瞻 博 网 络 、 和 微软、 华为 、NEC、Nuage Networks、 
PLUMgrid、 红 帽 、VMware。 在 OpenDaylight 项 目 中 ， 网 络 行业 将 采取 
相同 的 方案 研发 他 们 的 下 一 代 技 术 ， 整 体 情况 类 似 于 大 数据 领域 中 利 
用 Hadoop 或 带 有 WebKit 的 Web 浏 览 器 进行 研发 一 样 。OpenDaylight 是 
一 个 研发 实体 ， 未 来 将 与 作为 标准 化 实体 的 ONF 形 成 互补 。 

OpenDaylight 是 一 套 以 社区 为 主导 的 开源 框架 ， 旨 在 推动 创新 实施 
以 及 软件 定义 网 络 (简称 SDN) 透明 化 。 面 对 SDN 型 网 络 ， 大 家 需 
合适 的 工具 帮助 自己 管理 基础 设施 ， 这 正 是 OpenDaylight 的 专长 。 作 为 
项 目 核 心 ，OpenDaylight 拥 有 一 套 模 块 化 、 可 插 拔 且 极 为 灵活 的 控制 
器 ， 这 使 其 能 够 被 部 署 在 任何 支持 Java 的 平台 之 上 。 这 款 控制 器 中 还 
包含 一 套 模 块 合集 ， 能 够 执行 需要 快速 完成 的 网 络 任务 ( 见 图 5- 
10) 。 
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图 5-10 OpenDaylight 功 能 逻辑 架构 

OpenDaylight 项 目 将 研发 一 系列 技术 ， 包 括 在 SDN 中 为 网 络 设备 提 
供 集中 控制 的 控制 器 。 该 控制 器 为 云 管理 工具 等 具有 网 络 感知 功能 的 
应 用 、 交 换 机 和 其 他 网 络 中 的 硬件 提供 接口 。 该 项 目 还 将 创建 网 络 应 
用 、 网 络 虚 拟 化 软件 和 其 他 组 件 。 

如 此 众多 的 重量 级 厂商 走 到 一 起 ， 说 明 SDN 已 成 为 一 股 不 可 忽视 
的 潮流 。 不 过 ， 显 而 易 见 的 问题 是 ， 种 种 不 同 的 技术 、 见 解 如 何 真正 
聚合 成 一 个 切实 可 行 的 解决 方案 ， 面 临 的 困难 想来 不 少 。 因 此 ， 其 发 
展 前 景 尚 待 观察 。 这 些 重量 级 厂商 汇 聚 在 一 起 ， 一 方面 堵 死 了 SDN 新 
兴 企 业 的 发 展 壮大 之 路 ， 另 一 方面 也 形成 了 和 VMware 生态 系统 抗衡 的 
态势 。 


D.3 2 : 大 二 层 实 现 


在 数据 中 心 网 络 中 , “区 域 ? 对 应 于 VLAN 的 划分 。 相 同 VLAN 内 的 
终端 属于 同一 广播 域 ， 具 有 一 致 的 VLAN-ID， 二 层 连 通 ; 不 同 VLAN 
内 的 终端 需要 通过 网 关 互 相 访问 ， 二 层 隔 离 ， 三 层 连通 。 传 统 的 数据 
中 心 主 要 是 依据 功能 进行 区 域 划分 ， 例 如 Web、APP、DB、 办 公 区 、 
业务 区 、 内 联 区 、 外 联 区 等 。 不 同 区 域 之 间 通 过 网 关 和 安全 设备 互 
访 ， 保 证 不 同 区 域 的 可 靠 性 、 安 全 性 。 同 时 ， 不 同 区 域 由 于 具有 不 同 
的 功能 ， 因 此 需要 相互 访问 数据 时 ， 只 需 终 端 之 间 能 够 通信 ， 并 不 一 
定 要 求 通信 双方 处 于 同一 VLAN 或 二 层 网 络 。 

传统 数据 中 心服 务 器 网 络 设 计 中 ， 通 常 将 二 层 网 络 的 范围 限制 在 
网 络 接 入 层 以 下 ， 避 免 出 现 大 范围 的 二 层 广播 域 。 虚 拟 机 迁移 技术 可 
以 使 数据 中 心 的 计算 资源 得 到 灵活 的 调配 ， 进 一 步 提 高 虚拟 机 资源 的 
利用 率 。 但 是 虚拟 机 迁移 要 求 虚 拟 机 迁移 前 后 的 了 P 和 MAC 地 址 不 变 ， 
这 就 需要 虚拟 机 迁移 前 后 的 网 络 处 于 同一 个 层 域内 部 。 由 于 客户 要 求 
虚拟 机 迁移 的 范围 越 来 越 大 ， 甚 至 是 跨越 不 同 地 域 、 不 同 机 房 之 间 的 
迁移 ， 这 使 得 数据 中 心 二 层 网 络 的 范围 越 来 越 大 ， 甚 至 出 现 了 专业 的 
大 二 层 网 络 这 一 新 领域 专题 。 

所 谓 “ 大 二 层 ” 是 指 所 有 VLAN 都 可 以 延展 到 所 有 汇聚 层 、 接 入 层 交 
换 机 的 VLAN 结 构 ， 这 与 传统 数据 中 心 VYLAN 往 往 终结 在 接 入 层 交 换 机 
的 做 法 不 同 。 大 二 层 网 络 结构 的 需求 是 由 如 下 原因 决定 的 。 

” 服务 器 虚拟 化 的 要 求 : 所 有 主流 服务 器 虚拟 化 技术 都 能 够 实 

现 不 同 程度 的 虚拟 机 在 线 迁 移 ， 而 虚 机 迁移 前 后 其 MAC/PP 地 
址 等 不 变 ， 决 定 了 其 迁移 的 源 和 目的 应 在 同一 个 VLAN。 

” 网 络 业务 整 合 的 需要 : 新 一 代数 据 中 心 网 络 要 求 比 传统 网 络 

具有 更 高 的 业务 承载 能 力 ， 各 种 应 用 (比如 Oracle RAC 等 ) 


等 需要 纯 二 层 网 络 来 提供 其 业务 所 需 的 低 延 迟 、 高 吞吐 、 
MAC 层 直接 交换 的 网 络 环境 。 
” 智能 业务 整合 、 集 中 部 署 的 需求 : 为 面向 范围 更 广 的 接 入 层 
提供 智能 服务 资源 地 ， 智 能 服务 被 要 求 集中 化 部 署 ， 这 就 需 
要 有 智能 服务 要 求 的 VLAN 都 能 延展 到 智能 服务 设施 所 在 的 
汇聚 层 。 
随 着 应 用 的 数量 迅猛 增加 ， 二 层 网 络 的 扩展 会 造成 传统 二 层 技 术 
在 链 路 见 余 能 力 、 负 载 均衡 能 力 、 可 扩展 性 和 网 络 稳定 性 上 面 的 诸多 


问题 。 
5.3.1 ”CT 流派 ; 以 交换 机 为 中 心 的 大 二 层 技 术 


大 二 层 首先 需要 解决 的 是 数据 中 心 内 部 的 网 络 扩 展 问题 ， 要 通过 
大 规模 二 层 网 络 和 VLAN 延 促 ， 实 现 虚拟 机 在 数据 中 心 内 部 的 大 范围 
迁移 。 由 于 数据 中 心 内 的 大 二 层 网 络 都 要 覆盖 多 个 接 入 交换 机 和 核心 
交换 机 ， 因 此 主要 有 以 下 两 类 技术 。 


基于 跨 交换 机 端口 捆绑 实现 大 二 层 网 络 


既然 二 层 网 络 的 核心 是 环 路 问题 ， 而 环 路 问题 是 随 着 匈 余 设 备 和 
链 路 产生 的 ， 那 么 如 果 将 相互 匈 余 的 两 台 或 多 台 设备 、 两 条 或 多 条 链 
路 合并 成 一 台 设 备 和 一 条 链 路 ， 就 可 以 回 到 之 前 的 单 设 备 、 单 链 路 情 
况 ， 环 路 自然 也 就 不 存在 了 。 尤 其 是 交换 机 技术 的 发 展 ， 虚 拟 交 换 机 
从 低 端 盒 式 设备 到 高 端 框 式 设备 都 已 经 广泛 应 用 ， 具 备 了 相当 的 成 熟 
上 度 和 稳定 度 。 因 此 ， 虚 拟 交换 机 技术 成 为 目前 应 用 最 广 的 大 二 层 解决 
方案 。 


虚拟 交换 机 技术 的 代表 是 华为 的 Stack、H3C 公 司 的 IRF、Cisco 公 
司 的 VSS。 其 特点 是 只 需要 交换 机 软件 升级 即 可 支持 交换 机 虚拟 机 ， 
应 用 软件 成 本 低 ， 部 署 简单 。 目 前 这 些 技术 都 是 各 厂商 独立 实现 和 完 
成 的 ， 只 有 同一 厂商 的 相同 系列 产品 之 间 才 能 实施 虚拟 化 。 同 时 ， 由 
于 高 端 框 式 交 换 机 的 性 能 、 密 度 越 来 越 高 ， 对 虚拟 交换 机 的 技术 要 求 
也 越 来 越 高 ， 目 前 框 式 交换 机 的 虚拟 化 密度 最 高 为 4:1。 虚 拟 交换 机 的 
密度 限制 了 二 层 网 络 的 规模 大 约 在 1 万 一 2 万 台 服 务 器 左右 。 


基 隧 道 技术 


二 层 网 络 不 能 有 环 路 ， 宛 余 链 路 必须 要 阻塞 掉 ， 但 三 层 网 络 显然 
不 存在 这 个 问题 ， 而 且 还 可 以 做 ECMP (等 价 链 路 ) 。 通 过 在 二 层 报 
文 前 插入 额外 的 帧 头 ， 并 且 采 用 路 由 计算 的 方式 控制 整 网 数据 的 转 
发 ， 不 仅 可 以 在 元 余 链 路 下 防止 广播 风暴 ， 而 且 可 以 做 ECMP。 这 样 
可 以 在 保持 原 有 二 层 网 络 配置 的 简洁 性 的 同时 ， 将 二 层 网 络 规模 扩展 
到 整 张 网 络 ， 而 不 会 受 核心 交换 机 数量 的 限制 〈 见 图 5-11) 。 
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图 5-11 ”Trill 组 网 示意 图 

隧道 技术 的 代表 是 TRILL、SPB， 都 是 通过 借用 IS-IS 路 由 协议 的 
计算 和 转发 模式 ， 实 现 二 层 网 络 的 大 规模 扩展 。 这 些 技术 的 特点 是 可 
以 构建 比 虚 拟 交 换 机 技术 更 大 的 超大 规模 二 层 网 络 (应 用 于 大 规模 集 
群 计算 ) 。 同 时 传统 交换 机 不 仅 需要 软件 升级 ， 还 需要 硬件 支持 。 虽 
然 TRILL 成 功 扩 展 了 虚拟 机 资源 池 的 规模 ， 但 是 需要 在 核心 层 上 再 增 
加 一 层 设 备 来 做 网 关 。 这 导致 网 络 结构 变 得 复杂 ， 管 理 难 度 增加 ， 网 
络 建设 、 运 维 成 本 都 会 增加 。 

以 上 基于 各 广 家 私有 的 IRF/vPC 等 设备 级 的 〈 网 络 N:1) 虚拟 化 技 
术 ， 虽 然 可 以 简化 拓扑 、 有 具备 高 可 靠 性 的 能 力 ， 但 是 对 于 网 络 有 强制 
的 拓扑 形状 限制 ， 在 网 络 的 规模 和 灵活 性 上 有 所 欠缺 ， 只 适合 小 规模 
网 络 构建 ， 且 一 般 适 用 于 数据 中 心 内 部 网 络 。 而 为 了 大 规模 网 络 扩展 
而 产生 的 TRILL/SPB/FabricPath/VPLS 等 技术 ， 虽 然 解决 了 上 述 技术 的 
不 足 ， 但 对 网 络 有 特殊 要 求 ， 即 网 络 中 的 设备 均 要 软 硬 件 升级 而 支持 


此 类 新 技术 ， 这 将 融 来 部 署 成 本 的 上 升 ， 并 且 还 存在 广 家 互通 问题 ， 
多 数 用 在 新 建 数据 中 心 场景 。 


5.3.2 IT 流派 : 以 服务 器 又 加 网 为 中 心 的 Overlay 技 术 


第 二 类 是 I 的 方案 一 一 软件 Overlay， 将 二 层 网 络 封 装 后 在 三 层 范 
围 内 进行 扩展 的 VxLAN 方 案 。 其 可 以 很 好 地 解决 虚拟 机 灵活 迁移 、 超 
大 规模 (16M) VLAN 的 问题 。 

以 服务 器 Overlay 荆 加 网 为 中 心 的 开 流 派 代 表 是 Google 和 微软 。 

Overlay 在 网 络 技 术 领 域 ， 指 的 是 一 种 网 络 架 构 上 茎 加 的 虚拟 化 技 
术 模 式 ， 其 大 体 框架 是 对 基础 网 络 不 进行 大 规模 修改 的 条 件 下 ， 实 现 
应 用 在 网 络 上 的 承载 ， 并 能 与 其 他 网 络 业 务 分 离 ， 并 且 以 基于 IP 的 基 
础 网 络 技术 为 主 。Overlay 采 用 全 新 方式 的 解决 以 下 问题 。 


(1) 虚拟 机 迁移 范围 受到 网 络 架 构 限 制 


Overlay 是 一 种 封装 在 IP 报 文 之 上 的 新 的 数据 格式 ， 因 此 这 种 数据 
可 以 通过 路 由 的 方式 在 网 络 中 分 发 ， 而 路 由 网 络 本 身 并 无 特殊 网 络 结 
构 限 制 ， 具 备 民 性 大 规模 扩展 能 力 ， 并 且 对 设备 本 身 无 特殊 要 求 ， 以 
高 性 能 路 由 转发 为 佳 ， 且 路 由 网 络 本 身 具 备 很 强 的 故障 自 愈 能 力 、 负 
载 均衡 能 力 。 采 用 Overlay 技 术 后 ， 企 业 部 署 的 现 有 网 络 便 可 用 于 支撑 
新 的 云 计算 业务 ， 改 造 难 度 极 低 〈 除 性 能 可 能 是 考量 因素 外 ， 技 术 上 
对 于 承载 网 络 并 无 新 的 要 求 ) 。 


(2) 虚拟 机 规模 受 网 络 规格 限制 


虚拟 机 数据 封装 在 IP 数 据 包 中 后 ， 对 网 络 只 表现 为 封装 后 的 网 络 
参数 ， 即 隧道 端点 的 地 址 ， 因 此 ， 对 于 承载 网 络 (特别 是 接 入 交换 
机 ) ，MAC 地 址 规格 需求 极 大 降低 ， 最 低 规格 也 就 是 几 十 个 (每 个 端 
口 一 台 物 理 服务 器 的 隧道 端点 MAC) 。 


(3) 网 络 隔离 /分 离 能 力 限制 


针对 VLAN 数 量 4000 以 内 的 限制 ， 在 Overlay 技 术 中 5 引入 了 类 似 12 
比特 VLAN ID 的 用 户 标识 ， 支 持 干 万 级 以 上 的 用 户 标 识 ， 并 上 且 在 
Overlay 中 沿袭 了 云 计 算 “ 租 户 ” 的 概念 ， 称 之 为 Tenant ID (租户 标 
识 ) ， 用 24 或 64 比 特 表示 。 针 对 VLAN 技 术 下 网 络 的 TRUANK ALL 

(VLAN 穿 透 所 有 设备 ) 的 问题 ，Overlay 对 网 络 的 VLAN 配 置 无 要 
求 ， 可 以 避免 网 络 本 身 的 无 效 流量 带宽 浪费 ， 同 时 Overlay 的 二 层 连 通 
基于 虚拟 主机 业务 需求 创建 ， 在 云 的 环境 中 全 局 可 控 。 

IETF 在 Overlay 技 术 领 域 有 如 下 三 大 技术 路 线 。 


(1) VxLAN 


VxLAN 是 将 以 太 网 报 文 封装 在 UDP 传输 层 上 的 一 种 隧道 转发 模 
式 ， 目 的 UDP 端口 号 为 4798; 为 了 使 VxLAN 充 分 利用 承载 网 络 路 由 的 
均衡 性 ，VxLAN 将 原始 以 太 网 数据 头 (MAC、IP、 四 层 端 口号 等 ) 的 
HASH 值 作为 UDP 的 号 ; 采用 24 比 特 标识 二 层 网 络 分 段 ， 称 为 VNI 

(VxLAN Network Identifier) ， 类 似 于 VLAN ID 作用 ; 未 知 目的 、 广 
播 、 组 播 等 网 络 流量 均 被 封装 为 组 播 转发 ， 物 理 网 络 要 求 支持 任意 源 
组 播 (ASM) 。 


(2) NVGRE 


NVGRE 是 将 以 太 网 报 文 封装 在 GRE 内 的 一 种 隧道 转发 模式 ; 采用 
24 比 特 标 识 二 层 网 络 分 段 ， 称 为 VSI 《Virtual Subnet Identifier) ， 类 似 
于 VLAN ID 作用 ; 为 了 使 NVGRE 利 用 承载 网 络 路 由 的 均衡 性 ， 
NVGRE 在 GRE 扩 展 字 段 flow ID， 这 就 要 求 物理 网 络 能 够 识别 出 GRE 隧 
道 的 扩展 信息 ， 并 以 flow ID 进行 流量 分 担 ; 未 知 目的 、 广 播 、 组 播 等 
网 络 流量 均 被 封装 为 组 播 转发 。 


(3) STT 


STT 利 用 了 TCP 的 数据 封装 形式 ， 但 改造 了 TCP 的 传输 机 制 ， 数 据 
传输 不 遵循 TCP 状 态 机 ， 而 是 全 新 定义 的 无 状态 机 制 ， 将 TCP 各 字段 意 
义 重 新 定义 ， 无 需 三 次 握手 建立 TCP 连 接 ， 因 此 称 为 无 状态 TCP; 以 太 
网 数据 封装 在 无 状态 TCP; 采用 64 比 特 Context ID 标 识 二 层 网 络 分 段 ; 
为 了 使 STT 充 分 利用 承载 网 络 路 由 的 均衡 性 ， 将 原始 以 太 网 数据 头 
(MAC、IP、 四 层 端 口号 等 ) 的 HASH 值 作为 无 状态 TCP 的 源 端口 
号 ; 未知 目的 、 广 播 、 组 播 等 网 络 流量 均 被 封装 为 组 播 转 发 。 

这 三 种 二 层 Overlay 技 术 ， 大 体 思路 均 是 将 以 太 网 报 文 承载 到 某 种 
隧道 层面 ， 差 异性 在 于 选择 和 构造 隧道 的 不 同 ， 而 底层 均 是 IP 转 发 。 
VxLAN 和 STT 对 于 现 网 设备 对 流量 均衡 要 求 较 低 ， 即 负载 链 路 负载 分 
担 适应 性 好 ， 一 般 的 网 络 设备 都 能 对 L2~L4 的 数据 内 容 参 数 进行 链 路 
聚合 或 等 价 路 由 的 流量 均衡 ， 而 NVGRE 则 需要 网 络 设 备 对 GRE 扩 展 头 
感知 ， 并 对 flow ID 进 行 HASH， 并 且 需 要 硬件 升级 ; STT 对 于 TCP 有 和 较 
大 修改 ， 隧 道 模 式 接近 UDP 性 质 ， 隧 道 构造 技术 属于 革新 性 ， 且 复杂 


度 较 高 ， 而 VxLAN 利 用 了 现 有 通用 的 UDP 传 输 ， 成 熟 性 极 高 。 总 体 比 
较 ，VxLAN 技 术 相 对 具有 优势 。 
目前 的 虚拟 化 主机 软件 在 vSwitch 内 支持 VxLAN， 使 用 VTEP 
(VxLAN Tunnel End Point) 封装 和 终结 VxLAN 的 隧道 。 为 了 更 加 简 
化 VxLAN Overlay 网 络 的 运行 管理 ， 便 于 云 的 服务 提供 ， 各 厂家 使 用 
集中 控制 的 模型 ， 将 分 散在 多 个 物理 服务 器 上 的 vSwitch 构 成 一 个 大 型 
的 、 虚 拟 化 的 分 布 式 Overlay vSwitch。 只 要 在 分 布 式 vSwitch 范 围 内 ， 
虚拟 机 在 不 同 物理 服务 器 上 迁移 ， 便 被 视 为 在 一 个 虚拟 的 设备 上 渤 
移 ， 如 此 大 大 降低 了 云 中 资源 的 调度 难度 和 复杂 度 。 
为 了 解决 采用 Overlay 隧 道 后 的 广播 报 文 (ARP、DHCP 等 ) 和 单 
播 MAC 地 址 位 置 学 习 问 题 ， 业 界 采 用 了 一 些 创新 的 技术 手段 。 例 如 在 
开源 OpenStack 中 的 ML2 Plugin 采 用 12-Population 机 制 在 虚拟 机 创建 时 
预 下 发 本 子 网 的 所 有 虚拟 机 MAC 地 址 和 隧道 端点 信息 。 也 可 以 采用 
SDN 控 制 器 来 集中 代理 ARP/DHCP 报 文 ， 按 需 下 发 隧道 通信 使 用 的 流 


多 租 尸 的 计算 模式 是 云 计 算 技 术 架 构 中 面向 服务 的 最 为 典型 的 应 
用 模式 。 它 要 求 服务 器 计算 环境 ， 存 储 资源 及 其 网 络 资源 的 设计 和 部 
署 必须 满足 自动 化 、 快 速 性 、 动 态 性 、 移 动 性 、 安 全 性 和 面向 商业 服 
务 等 需求 。 按 照 云 计算 资源 虚拟 化 的 技术 要 求 ， 对 网 络 拓扑 和 链 路 进 
行 虚拟 化 ， 并 对 网 络 资源 实现 按照 策略 的 隔离 和 共享 ( 见 图 5-12) 。 
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图 5-12 ”多 租户 网 络 


多 租户 网 络 必须 满足 虚拟 机 之 间 的 隔离 需求 


每 个 租户 拥有 虚拟 服务 器 资源 闻 中 的 一 个 虚拟 服务 器 或 一 组 虚拟 
服务 器 。 同 时 每 个 租户 都 必须 有 自己 的 独立 的 网 络 链 路 ， 租 户 独 立 的 
网 络 资源 包括 以 下 几 个 方面 。 

> 独立 的 二 层 广 播 域 

传统 网 络 通常 使 用 VLAN 进 行 隔离 ， 为 每 个 租户 提供 一 组 VLAN 资 
源 ， 但 是 4K 的 VLAN 个 数 限 制 了 网 络 规模 。 对 于 仅 使 用 独立 云 主 机 ， 
对 网 络 其 他 资源 无 特别 要 求 (例如 IP 地 址 重 芭 ) 的 应 用 ， 可 以 采用 
ARP 代 答 的 方式 消除 VLAN 网 络 中 不 同 租户 的 广播 。 同 时 支持 通过 租 
户 自 定义 的 安全 组 (一 组 ACL 规 则 ) 实现 不 同 租 户 虚 拟 机 间 的 4 层 安全 
隔离 ;可 采用 VxLAN/ NVGRE/STT 等 隧道 技术 来 突破 VLAN 规 格 限 
制 。 

> 独立 的 IP 地 址 空间 

通常 的 做 法 是 为 每 个 租户 的 网 络 分 配 独立 的 虚拟 DHCP 服 务 器 来 实 
现 重 芭 的 IP 地 址 分 配 。 


” 独立 的 虚拟 路 由 器 与 防火 墙 

当 有 了 独立 的 地 址 空间 后 ， 对 于 三 层 以 上 网 络 ， 需 为 每 个 租户 网 
络 分 配 独 立 的 虚拟 路 由 器 和 防火 墙 。 使 用 传统 网 络 设备 如 物理 交换 
机 、 物 理 防 火 墙 ， 在 转发 面 可 使 用 VRF (Virutal Routing Forwading) 
技术 实现 一 庶 多 。 物 理 网 络 设备 虚拟 化 存在 配置 复杂 、 数 据 流量 迁 回 
等 缺点 。 于 是 产生 了 对 网 络 设 备 NFV ( Network Function 
Virtualization) 的 需求 ， 对 于 路 由 器 、 防 火 墙 、LB 等 网 络 节点 ， 采 用 
x86 虚 拟 机 或 裸 机 实现 ， 例 如 软件 Vyatta 路 由 器 、VmwareEdge、 Cisco 
VSG 等 。 

与 硬件 网 络 设备 相 比 ， 软 件 NFV 存 在 转发 性 能 和 时 延 方 面 的 先天 
不 足 。IT 流 派 采 用 分 布 式 与 集群 技术 来 解决 单个 虚拟 化 网 络 设备 性 能 
瓶颈 问题 。 分 布 式 路 由 器 (Distributed Virtual Router) 技术 可 将 路 由 器 
网 管 远 辑 部 署 在 每 个 服务 器 主机 节点 ， 采 用 本 地 或 集中 ARP 代 答 的 方 
式 支 持 ARP 报 文 。 可 以 在 分 布 式 路 由 器 中 动态 或 静态 添加 主机 路 由 ， 
分 布 式 路 由 器 实现 东西 向 报 文 的 路 由 与 卸载 。 对 于 南北 报 文 ， 可 支持 
多 人 台 路 由 器 作为 集群 ， 采 用 SDN 控 制 器 根据 流量 负载 和 设备 状态 动态 
为 虚拟 机 选择 出 口 路 由 器 。 分 布 式 防火 墙 (Distribute Firewall) 将 在 每 
个 物理 主机 Hypervisor 层 部 署 防火 墙 功 能 ， 采 用 NameSpace 技 术 进 行 流 
表 隔 离 ， 将 安全 过 滤 分 布 在 每 个 节点 ， 同 时 通过 集中 的 安全 策略 简化 
管理 负责 度 。 弹 性 负载 均衡 (Elastic Load Balance) 技术 可 感知 网 络 负 
载 情 况 ， 并 根据 负载 状况 ， 动 态 申 请 负载 均衡 虚拟 机 ， 与 DNS 结 合 实 
现 弹 性 伸缩 。 由 于 不 是 每 个 NFV 设 备 都 可 支持 Overlay 隧 道 技术 ， 通 津 
将 隧道 终结 在 vSwitch 上 ，NEFV 设 备 与 Overlay 网 络 的 对 接 需 要 通过 
VLAN 到 VxLAN Mapping 来 实现 。 


多 租户 的 网 络 必须 是 策略 驱动 的 网 络 


每 个 租户 必须 和 云 服 务 提供 商 签署 网 络 服务 策略 ， 即 每 个 租户 有 
自己 独立 的 网 络 策略 部 署 方案 。 云 计算 系统 如 OpenStack、 CloudStack 
均 实现 对 网 络 资源 的 多 租户 标识 。 通 过 开放 的 API 接 口 ， 租 户 可 使 用 云 
计算 系统 提供 的 GUI 界面 或 调用 底层 API 实 现 自助 的 管理 网 络 策略 与 配 
置 ， 包 括 申 请 子 网 、 定 义 IP 地 址 、 申 请 路 由 器 、 申 请 弹性 IP (公有 地 
址 与 虚拟 机 私有 地 址 的 NAT 了 映射 、 创 建安 全 组 、 定 义 负载 均衡 规 
则 、 定 义 防火 墙 规 则 、 定 义 VPN 规 则 等 。 


多 租户 的 网 络 必须 确保 每 个 租户 不 同 的 服务 质量 


在 多 租户 网 络 中 ， 每 个 租户 有 不 同 的 应 用 ， 所 以 云 服 务 提供 商 必 
须 确 保 每 个 租户 的 服务 质量 ， 即 服务 的 SLA。 如 对 带宽 的 保证 ， 在 流 
量 拥塞 的 时 候 确 保 最 低 带宽 ， 避 免 拥 塞 等 。 所 以 在 多 租户 网 络 中 ， 每 
个 用 户 的 QoS 策略 及 其 流量 策略 非常 重要 。 多 租户 的 虚拟 网 络 接口 可 
按照 层次 关系 进行 如 下 的 设计 : vNIC (虚拟 机 ) ~>vPort (虚拟 交换 
机 ) 一 pNIC (网 卡 ) 一 VIF (交换 机 /Router) 一 VIF (Firwal/LB) 。 
其 通常 在 如 下 节点 定义 Qos 策 略 : 

~ 在 云 主 机 Hypervisor 层 定义 vNIC 收 /发 方向 的 Car、Shaping， 同 

时 支持 基于 端口 或 流 对 报 文 进行 DSCP 标 签 ; 
”~ 考虑 通过 独立 的 网 卡 或 pNIC 保 证 管理 、 存 储 平面 带宽 需求 ; 
” 在 数据 中 心 出 口 ， 对 租户 的 虚拟 防火 墙 、 弹 性 IP、 负 载 均衡 的 


带宽 进行 限制 。 


多 租户 网 络 必须 能 够 实现 租户 跨 广 域 网 或 城 域 网 的 互联 互通 


在 多 租户 网 络 中 ， 租 户 的 虚拟 服务 器 的 部 署 并 不 一 定 都 集中 在 一 
个 数据 中 心 ， 而 是 大 部 分 分 布 在 不 同 的 数据 中 心 ， 有 的 需要 跨越 城 域 
网 甚至 广域网 。 在 这 种 情况 下 ， 多 租户 网 络 必 须 能 够 跨越 互联 网 实现 
租户 的 互联 互通 。 例 如 在 不 同 数据 中 心间 可 采用 NVGRE/ VxLAN 隧 道 
实现 跨 数据 中 心 的 二 层 互 通 ; 在 云 数据 中 心 与 租户 网 络 间 可 采用 IPSec- 
VPN、SSL-VPN、L2TP-VPN 实 现 互 通 。 


SDN 提 供 了 智能 、 集 中 控制 的 全 局 优化 ， 应 用 驱动 ， 开 放 可 编 
程 ， 端 到 端 QoS， 网 络 快速 修复 能 力 。 随 着 OpenFlow/SDN 概 念 的 发 展 
和 推广 ， 其 研究 和 应 用 领域 也 得 到 了 不 断 拓 展 。 下 面 将 举 几 个 典型 的 
研究 案例 来 展示 OpenFlow 的 应 用 。 


基于 业务 和 应 用 驱动 的 SDN 网 络 管理 优化 


SDN/OpenFlow 提 供 了 一 个 简化 的 网 络 自动 化 配置 流程 。 系 统 具 备 
统一 标准 的 数据 库 ， 所 有 设备 提供 基于 OpenFlow 和 Restful 的 接口 。 使 
用 标准 化 的 API 提 供 自 动 化 的 服务 创 建 过 程 ， 从 而 消除 了 使 用 CLI 和 其 
他 人 工 服 务 的 创建 过 程 。 标 准 OpenFlow 也 消除 了 需要 分 别 使 用 厂商 定 
制 的 EMS 来 逐个 配置 各 个 网 络 服务 的 复杂 过 程 。 


网 络 虚 拟 化 (Slicing/Traffic Isolation) 


网 络 虚拟 化 需要 能 抽象 出 底层 网 络 的 物理 拓扑 ， 在 逻辑 上 对 网 络 
资源 进行 分 片 或 者 整合 ， 从 而 满足 各 种 应 用 对 于 网 络 的 不 同 需求 。 虚 
拟 网 络 也 可 支持 IP 地 址 重症 ， 当 前 是 采用 VRF 进 行 隔 离 ， 但 是 VRF 难 


于 配置 与 部 署 。 为 了 达到 网 络 分 片 的 目的 ， 通 过 OpenFlow Controller， 
其 可 以 看 做 是 其 他 不 同 用 户 或 应 用 的 Controllers 与 网 络 设备 之 间 的 一 层 
代理 。 因 此 ， 不 同 用 户 或 应 用 可 以 使 用 自己 的 Controllers 来 定义 不 同 的 
网 络 拓扑 ， 同 时 又 可 以 保证 这 些 Controllers 之 间 能 够 互相 隔离 而 互 不 影 
响 。 


分 布 式 的 负载 均衡 


传统 的 负载 均衡 方案 一 般 需 要 在 服务 器 集群 的 入 口 处 ， 通 过 一 个 
gateway 或 者 router 来 监测 、 统 计 服 务 器 工作 负载 ， 并 据 此 动态 分 配 用 
户 请 求 到 负载 相对 较 轻 的 服务 器 上 。 既 然 网 络 中 所 有 的 网 络 设备 都 可 
以 通过 OpenFlow 进 行 集中 式 的 控制 和 管理 ， 同 时 应 用 服务 器 的 负载 可 
以 及 时 地 反馈 到 OpenFlow 的 Controller，Controller 就 可 以 根据 这 些 实时 
的 负载 信息 ， 重 新 定义 网 络 设备 上 的 OpenFlow 规 则 ， 从 而 将 用 户 请 求 

( 即 网 络 包 ) 按照 服务 器 的 能 力 进行 调整 和 分 发 。 


绿色 节能 的 网 络 服务 


在 数据 中 心 和 云 计 算 环 境 中 ， 如 何 降低 运营 成 本 是 一 个 重要 的 研 
究 课题 。SDN 可 根据 工作 负 从 按 需 分 配 、 动 态 规划 ， 不 仅 可 以 提高 资 
源 的 利用 率 ， 还 可 以 在 网 络 负载 不 高 的 情况 下 选择 性 地 关闭 或 者 挂 起 
部 分 网 络 设备 ， 使 其 进入 节 电 模式 ， 达 到 节能 环保 、 降 低 运营 成 本 的 
目的 。 


动态 插入 安全 与 策略 


使 用 SDN 实 现 自动 流量 导 流 ， 从 而 提供 防火 墙 和 入 侵 检测 系统 
(IDS) 服务 。 当 前 大 多 数 的 安全 策略 受到 VLAN 或 接口 的 限制 ， 并 且 
使 用 静态 的 配置 ， 无 法 感知 具体 应 用 上 下 文 信息 。 尽 管 可 通过 使 用 
802.1.x 进 行动 态 策略 与 身份 标识 管理 的 增强 ， 但 还 是 无 法 提供 足够 灵 
活 的 安全 策略 管理 能 力 。 在 SDN 环 境 中 ，SDN Controller 可 理解 流 的 上 
下 文 信息 (用 户 、 时 间 、 应 用 和 其 他 外 部 参数 ) ， 让 管理 员 可 以 配置 
更 好 颗粒 度 的 策略 ， 并 应 用 到 交换 中 。 

SDN 网 络 中 ， 可 由 基于 OpenFlow 的 路 由 功能 ， 将 流量 引导 到 IP 服 
务 (如 防火 墙 和 IDS 中 ) 。SDN 控 制 器 和 IP 服 务 软件 向 路 由 器 提供 路 由 
和 配置 命令 。 可 通过 SDN 智 能 化 路 由 ， 减 少 流入 IP 服 务 应 用 程序 的 流 
量 ， 从 而 提高 网 络 的 利用 率 ， 降 低 VO 端 口 的 消耗 。 


广域网 络 虚 拟 化 


在 保护 现 有 的 L2/L3 VPN-IP 网 络 的 同时 ， 提 供 了 一 个 OpenFlow 苇 
加 到 跨 数 据 中 心 网 络 连接 中 。 

在 没有 实时 全 网 信息 时 ， 按 照 局 部 FIB 信 息 的 最 短路 径 会 导致 大 量 
数据 被 引导 到 某 些 路 径 ， 导 致 网 络 在 某 些 地 段 阻塞 。 基 于 OpenFlow 的 
Overlay 网 络 和 广域网 SDN 控 制 器 被 添加 到 现 有 的 生产 网 络 。OpenFlow 
并 不 影响 传统 的 流量 和 基于 硬件 提供 的 防护 能 力 。 使 用 Hybrid 端口 模 
式 ， 降 低 初 始 部 署 风 险 ， 以 持续 逐步 增加 OpenFlow 覆 盖 服 务 。 由 于 
SDN 处 理 不 断 增 加 的 流量 ， 共 享 网 络 容量 的 增加 会 减少 。SDN 提 供 更 
好 的 网 络 使 用 情况 的 可 见 性 和 路 由 的 灵活 性 ， 以 达到 更 高 的 利用 率 水 
平 ， 例 如 Google 在 使 用 SDN/Openflow 以 前 ， 网 络 的 使 用 率 在 30% 左 
右 ， 而 采用 SDN/Openflow 后 ， 网 络 利 用 率 提高 到 90% 以 上 。 
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与 计算 虚拟 化 相 比 ， 网 络 虚 拟 化 以 及 网 络 云 化 的 历史 并 不 算 久 ， 
世界 各 地 大 规模 商用 的 案例 比较 少 。 但 现 阶段 小 规模 的 ， 以 虚拟 交换 
机 、 分 布 式 虚 拟 交 换 机 、 虚 拟 路 由 器 、 虚 拟 防火 墙 、 虚 拟 负 载 均衡 器 
为 代表 的 ， 运 行 在 私有 云 内 的 网 络 虚拟 化 商用 案例 还 是 比较 多 的 。 商 
用 网 络 虚 拟 化 案例 的 最 大 特点 是 ， 对 现 有 网 络 硬件 设备 基本 没有 改 
动 ， 而 是 通过 服务 器 虚拟 化 层 运行 的 虚拟 化 与 云 计算 软件 完成 网 络 虚 
拟 化 功能 。 这 种 数据 中 心 私 有 云 内 部 的 网 络 虚拟 化 会 随 着 企业 私有 云 
建设 而 变 得 普遍 化 ， 由 于 对 现 有 网 络 硬 件 要 求 不 高 ， 其 推广 阻力 也 很 
小 。 

大 部 分 企业 数据 中 心 规模 并 不 大 ， 网 络 结构 也 不 是 很 复杂 ， 网 络 
设备 规模 庞大 且 结 构 复 杂 的 当 数 电信 运营 商 了 (还 有 少量 超大 型 企 
业 ， 特 别 是 超大 型 互联 网 企业 ) 。 网 络 何 时 走向 彻底 云 化 ， 或 者 说 网 
络 云 何 时 普遍 商用 ， 主 要 要 看 电信 运营 商 、 网 络 设备 供应 商 、IT 系 统 
供应 商 之 间 的 互动 博弈 。 电 信 运 营 商 无 疑 希望 大 幅 降 低 网 络 设备 采购 
成 本 与 运营 管理 复杂 度 ， 这 样 可 提升 自动 化 与 弹性 的 配置 管理 能 力 ， 
增强 赢利 能 力 ， 而 网 络 设备 供应 商 期 望 赚 取 更 多 的 利润 。 供 需 双方 本 
身 就 存在 这 个 矛盾 。 谁 有 网 络 控制 权 谁 就 有 话语 权 ， 而 网 络 云 化 的 一 
个 重要 手段 就 是 让 网 络 设备 把 控制 权 交 出 来 〈《 交 给 IT 系统 ) ， 传 统 网 
络 设备 供应 商 肯定 是 不 情愿 的 。 但 不 情愿 也 没有 太 好 的 办 法 ， 网 络 设 
备 是 可 以 蔡 换 的 ， 而 且 广 商 众 多 ， 为 了 生存 ， 只 能 全 力 竞 争 。 运 营 商 
一 旦 认 准 基于 云 计算 的 开放 网 络 架构 这 个 大 方向 ， 天 平 是 会 向 需 方 倾 
和 斜 的 。 只 要 运营 商 从 战略 运营 上 开始 有 动作 ， 网 络 云 化 的 时 间 表 就 会 
被 排 得 非常 紧密 ， 短 则 一 两 年 ， 长 则 不 超过 三 五 年 。 运 营 商 的 网 络 云 


化 ， 实 际 意味 着 全 球 骨 干 网 络 云 化 ， 那 么 作为 网 络 的 末梢 节点 一 一 企 
业内 部 数据 中 心 网 络 ， 则 会 跟随 这 个 大 趋势 快速 云 化 。 

网 络 云 化 ， 可 能 改变 不 了 传统 电信 运营 商 “ 数 据 物流 商 ” 的 角色 ， 
但 可 以 大 幅 压 低 “ 数 据 物流 ”的 成 本 。 这 与 实体 物流 行业 很 类 似 ，10 年 
前 最 头疼 的 事情 是 网 购 省 下 的 钱 都 被 快递 费用 占 去 了 ， 而 今天 不 仅 很 
多 网 购 免 运费 了 ， 而 且 由 7 天 送 达 ， 缩 短 到 24 小 时 、4 个 小 时 、2 个 小 
时 ， 甚 至 送 达 时 间 以 分 钟 计算 。 未 来 (可 能 5~10 年 ) ， 电 信和 运营 商 可 
能 只 需要 向 租用 网 络 宽带 出 口 的 企业 (包含 互联 网 企业 ) 单 向 收费 ， 
而 面向 普通 个 人 则 免费 (或 准 免费 ) 泛 在 接 入 ， 即 可 实现 产业 繁荣 
(以 运营 商 间 能 够 实现 充分 竞争 为 前 提 ) 。 


第 6 章 ”面向 企业 关键 应 用 性 能 提 
升 和 存储 管理 简化 的 存储 虚拟 化 


6.1 云 计算 的 


企业 级 存储 中 使 用 的 传统 SAN、NAS 设 备 ， 在 云 计 算 中 面临 了 很 
多 的 问题 ， 主 要 问题 如 下 。 


(1) 存储 弹性 问题 


企业 级 存储 无 法 满足 多 业务 不 同 负载 、 动 态 的 资源 变化 需求 ， 在 
不 同 租户 和 不 同 应 用 对 资源 有 不 同 要 求 的 时 候 ， 很 难 方便 地 做 出 调 
整 ， 包 括 性 能 和 容量 资源 的 弹性 调配 ， 而 云 计 算 中 多 租户 多 业务 负载 
下 资源 的 弹性 是 极其 重要 的 核心 要 素 。 


(2) 存储 扩展 问题 


传统 存储 的 扩展 性 面临 了 多 个 瓶 须 ， 如 机 头 、 前 后 端 网 络 、 人 磁盘 
与 CPU/MEM 资 源 不 同步 扩展 等 ， 都 是 传统 存储 无 法 做 到 线性 扩展 的 几 
个 关键 因素 。 


(3) 形态 和 实施 的 成 本 、 复 杂 性 问题 


传统 存储 在 部 署 的 时 候 ， 需 要 独立 的 存储 网 络 ， 用 于 多 主机 互 
联 ， 特 别 是 针对 性 能 较 高 的 FC 网 络 ， 在 实施 的 时 候 成 本 较 高 、 组 网 实 
施 复杂 ， 不 利于 大 规模 集群 的 简化 部 署 实施 。 


(4) 大 规模 集群 下 的 容错 和 可 人 靠 性 问题 


在 规模 很 大 的 云 计算 环境 下 ， 需 要 具备 跨 机 房 、 跨 机 柜 、 跨 服务 
器 的 数据 保护 机 制 ， 即 使 在 机 柜 故障 等 场景 下 ， 数 据 仍 然 不 丢失 ， 仍 
然 可 访问 。 


(5) 灵活 的 软件 定义 策略 问题 


在 云 计算 环境 下 ， 不 同 的 租户 、 不 同 的 业务 应 用 对 存储 有 着 不 同 
的 要 求 ， 需 要 底层 存储 具备 灵活 的 软件 定义 策略 支持 ， 人 允许 用 户 按 需 
进行 存储 的 策略 配置 (如 定义 多 大 的 容量 、 多 少 IOPS、 多 大 的 SSD 
Cache 缓 存 、 什 么 样 的 数据 元 余 和 可 靠 性 要 求 等 ) ， 底 层 存储 可 以 根据 
这 些 软件 定义 梨 略 进行 资产 的 调配 ， 按 需 目 动 地 满足 上 层 业务 和 应 用 
的 需求 。 

云 计算 的 存储 虚拟 化 概述 如 图 6-1 所 示 ， 其 中 包含 了 传统 存储 的 虚 
拟 化 、 分 布 式 存储 的 闻 化 和 加 速 以 及 软件 定义 的 存储 策略 控制 三 个 音 
分 。 


软件 定义 存储 策略 控制 \ ) 
! OpenStack 北向 开放 API 


a Fo 


数据 面 | ; 块 服务 管理 ”| 文件 服务 管理 ”对 象 服务 管理 ， 


传统 存储 虚拟 化 
高 级 功能 (快照 、 搜 分 配 等 
顽 存 储 池 化 | 文件 存储 池 化 


照 、 搜 分 配 等 ) 
据 面 接 入 


图 6-1 存储 虚拟 化 框架 


6.2 ”灵活 的 x 


虚拟 化 、 云 计算 时 代 ， 应 用 对 于 存储 有 了 新 的 需求 : 
”希望 存储 系统 能 够 简化 管理 ， 兼 容 不 同 的 存储 设备 ， 快 速 获 
取 存 储 资源 ; 
> 能 够 基于 策略 驱动 ， 利 用 虚拟 机 粒度 的 存储 策略 ， 保 证 服务 
贡 量 (QoS) ， 
”希望 新 的 存储 方案 具有 高 性 价 比 ， 提 供 低 成 本 、 高 性 能 的 存 
储 解 决 方案 ; 
” 存储 系统 需要 具备 高 可 扩展 性 ， 实 现 系 统 规模 动态 扩展 。 
传统 存储 虚拟 化 技术 有 各 自 的 缺陷 : 基于 网 络 的 存储 虚拟 化 技术 
增加 了 硬件 成 本 ， 系 统 扩展 性 差 ， 存 在 性 能 损耗 ， 基 于 存储 设备 的 虚 
拟 化 技术 的 异 构 兼容 能 力 弱 ， 快 照 、 瘦 分 配 有 和 较 大 的 损耗 性 能 ;基于 
主机 的 存储 虚拟 化 技术 一 般 采 用 主机 侧 SSD 缓 存 加 速 技术 ， 但 这 个 技 
术 与 阵列 联动 困难 ， 快 照 回 滚存 在 一 致 性 问题 ， 没 有 虚拟 化 能 力 ; 而 
且 这 三 种 技术 都 无 法 实现 细 粒 度 的 策略 。 在 这 种 情况 下 ， 一 种 新 的 存 
储 虚 拟 化 扩 术 一 一 软件 定义 存储 的 解决 方案 应 运 而 生 。 
软件 定义 存储 的 需求 模型 如 图 6-2 所 示 。 
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图 6-2 ”软件 定义 存储 需求 模型 
从 租户 视角 来 看 ， 其 典型 操作 包括 : 

”~ 根据 服务 目录 操作 高 级 服务 ，; 

”~ 查询 卷 、 文 件 、 对 象 存储 的 容量 ，; 

” 卷 、 文 件 、 对 象 存储 的 增删 改 查 ，; 

” 主机 挂 载 、 卸 载 卷 和 文件 目录 。 

从 管理 员 视 角 来 看 ， 其 典型 操作 包括 : 

> 查询 TOPO 接 连 关系 ; 

” 分 配 物 理 设备 到 租户 视角 的 Cell 以 及 Zone; 
” 分 配 物理 空间 给 数据 池 ; 

” 存储 设备 与 数据 池 OML; 

” 主机 安装 Agent; 

” 服务 目录 管理 ; 

” 租户 权限 管理 。 


在 功能 上 ， 软 件 定 义 存 储 对 租户 屏 焙 物理 存储 设备 、 对 管理 员 提 
供 将 物理 设备 映射 到 逻辑 概念 的 手段 。 在 架构 上 ， 对 上 提供 补充 存储 
类 服务 操作 到 数据 中 心服 务 目 录 ， 对 下 集成 设备 管理 信息 。 

IDC 给 出 软件 定义 存储 (SDS) 的 定义 : 可 以 安装 在 商用 资源 
(x86 硬 件 、 虚 拟 机 监控 程序 或 者 云 ) 和 /或 现 有 计算 硬件 上 的 任何 存 
储 软 件 堆栈 。 此 外 ， 为 了 取得 资格 ， 基 于 软件 的 存储 堆栈 应 该 提供 一 
完整 的 存储 服务 ， 以 及 在 基础 的 持续 数据 配置 资源 之 间 的 联邦 ， 这 
使 其 租户 的 数据 可 以 在 这 些 资产 之 间 流 动 。 

软件 定义 存储 有 以 下 的 价值 。 

” 完全 通过 软件 实现 存储 的 高 级 特性 : 快照 、 克 隆 、 瘦 分 配 、 

高 速 缓存 等 都 不 依赖 于 存储 设备 。 

”策略 驱动 的 设计 : 传统 存储 无 法 与 应 用 配合 ， 性 能 低下 ， 基 
于 策略 的 存储 ， 能 够 为 不 同 的 应 用 提供 不 同 的 QoS。 

”~ 简化 存储 管理 : 可 以 实现 一 次 配置 ， 多 次 使 用 ， 计 算 管 理 员 
只 需 在 系统 初始 配置 或 者 扩容 时 需要 存储 管理 员 的 参与 ， 后 
续 应 用 需要 存储 资源 时 ， 能 够 做 到 即时 分 配 。 

” 高 性 价 比 


" 性能: Cache+ 低 端 人 存储 > 高 端 人 存储 。 
" 成 本 : Cache+ 低 端 存 储 < 高 端 存储 。 
m 可 以 利 | 日。 


6.3 SAN/NAS 的 


当 仅 需要 单个 主机 服务 器 (或 单个 集群 ) 访问 多 个 磁盘 阵列 时 ， 
可 以 使 用 基于 主机 的 存储 虚拟 化 技术 。 该 技术 又 称 为 逻辑 卷 管理 ， 通 


单 由 主机 操作 系统 下 的 逻辑 卷 管 理 软件 实现 。 逻 辑 卷 管理 软件 把 多 个 
不 同 的 物理 磁盘 映射 成 一 个 虚拟 的 逻辑 块 空间 。 当 存储 需求 增加 时 ， 
逻辑 管理 软件 能 把 部 分 逻辑 空间 映射 到 新 增 的 磁盘 阵列 ， 因 此 可 以 在 
不 中 断 运 行 的 情况 下 增加 或 减少 物理 存储 设备 。 

基于 主机 的 存储 虚拟 化 示意 图 如 图 6-3 所 示 。 
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图 6-3 ”基于 主机 的 存储 虚拟 化 

主机 1 可 以 使 用 磁盘 阵列 1 和 阵列 2 上 的 存储 空间 ， 主 机 2 可 以 使 用 
磁盘 阵列 2 上 的 存储 空间 ， 主 机 3 和 主机 4 均 可 使 用 磁盘 阵列 3 和 阵列 4 上 
的 存储 空间 。 

该 技术 使 主机 经 过 虚拟 化 的 存储 空间 跨越 多 个 异 构 的 磁盘 阵列 ， 
因此 常用 于 在 不 同 磁盘 阵列 之 间 做 数据 镜像 保护 。 

该 技术 的 优点 : 

” 支持 异 构 的 存储 系统 ; 

” 容易 实现 ， 不 需要 额外 的 特殊 硬件 ; 

”开销 低 ， 不 需要 硬件 支持 ， 不 修改 现 有 系统 染 构 。 


该 技术 的 缺点 : 

” 占用 主机 资源 ， 降 低 应 用 性 能 ， 

” 存在 操作 系统 和 应 用 的 兼容 性 问题 ， 

” 导致 主机 升级 、 维 护 、 扩 展 复杂 ， 容 易 造 成 系统 不 稳定 ; 

” 需要 复杂 的 数据 迁移 过 程 ， 影 响 业 务 连 续 性 。 

如 果 仅 针对 传统 中 低 端 存储 设备 整合 的 软件 定义 存储 方案 ， 其 架 
构 要 简单 很 多 ， 架 构 框 架 如 图 6-4 所 示 。 
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图 6-4 ”中 低 端 存 储 整合 软件 定义 存储 系统 框架 
中 低 端 存储 的 存储 性 能 差 ，LUN 数 量 有 限 ， 无 NVRAM、SSD 加 
速 ， 无 快照 /克隆 ， 瘦 分 配 等 功能 ， 可 通过 主机 侧 的 Flash 硬 件 和 软件 定 


义 存 储 软 件 能 力 ， 整 合 现 有 中 低 端 SAN、NAS 等 存储 资源 ， 提 供 性 能 
高 、 功 能 强 的 软件 定义 存储 解决 万 案 。 

面向 中 低 端 存储 整合 的 软件 定义 存储 系统 主要 是 一 套 存储 虚拟 化 
软件 ， 运 行 在 Host OS 上 ， 它 具有 强大 的 异 构 能 力 ， 底 层 能 够 兼容 块 、 
文件 或 者 对 象 。 软 件 定 义 存 储 系统 具备 线性 扩展 能 力 ， 具 有 高 速 的 分 
布 式 Flash Cache， 能 够 实现 性 能 无 损 的 快照 和 瘦 分 配 ， 能 够 实现 VM 粒 
度 的 策略 驱动 ， 拥 有 丰富 的 对 外 接口 ， 能 够 对 外 提供 块 、 文 件 或 对 象 
接口 。 系统 主要 提供 卷 管 理 服 务 、L/O 服 务 、 元 数据 服务 。 各 种 服务 可 
以 融合 部 署 ， 也 可 分 离 部 署 。 软 件 定 义 存储 的 软件 逻辑 如 图 6-5 所 示 。 
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图 6-5 面向 中 低 端 存储 设备 软件 定义 存储 的 软件 逻辑 
6.4 工 
6.4.1 “分 布 式 存 储 概 述 


随 着 企业 面临 的 竞争 环境 越 来 越 激 烈 、 新 业务 上 线 时间 要 求 越 来 
越 短 ， 其 IT 系 统 需要 从 传统 的 成 本 中 心 转变 为 提升 企业 竞争 力 的 利 


器 ， 帮 助 企业 提升 竞争 力 并 实现 商业 成 功 。 作 为 存放 企业 数据 资产 的 
存储 系统 ， 不 但 要 满足 业务 所 需要 的 高 性 能 、 高 可 靠 等 基本 诉 求 ， 更 
要 满足 未 来 业务 的 发 展 、 提 升 业 务 的 敏捷 性 ， 帮 助 业 务 更 快 更 好 地 适 
应 竞争 环境 的 需要 。 

计算 与 存储 在 过 去 20 年 一 直 在 非 均衡 地 发 展 。 摩 尔 定 律 设想 单位 
面积 晶体 管 数量 每 18 月 增加 1 倍 ， 对 应 单位 价格 的 计算 性 能 将 翻 2 倍 以 
上 。 回 顾 过 去 20 年 : 处 理 器 和 网 络 带宽 分 别提 升 了 3000 倍 和 1000 倍 ， 
但 磁盘 和 内 存 带 宽 仅 提升 120 倍 ， 远 落后 于 摩尔 定律 。 阿 姆 达尔 定律 认 
为 ， 计 算 系 统 中 对 某 一 部 件 采用 更 快 执行 方式 所 能 获得 的 系统 性 能 
进程 度 ， 取 决 于 这 种 执行 方式 被 使 用 的 频率 ， 或 所 占 总 执行 时 间 的 比 
例 。 对 于 多 数 应 用 而 言 ， 基 本 均 属 于 CPU 计算 与 内 /外 部 存储 

(Mem/Disk) 的 串联 模型 。 换 言 之 ， 系 统 中 最 慢 部 分 (存储 ) 的 效率 
将 决定 和 制约 整个 系统 的 效率 。 

在 云 计 算 集 中 化 数据 中 心 资源 池 环 境 中 ， 由 于 GE 以 太 网 络 的 延伸 
作用 ， 远 端 RAM/ SSD 的 容量 与 本 地 存储 相差 不 超过 1 个 数量 级 ， 数 据 
访问 时 延 则 比 本 地 HDD 减 少 30 倍 ， 带 宽 降 低 1 倍 。 

从 20 世 纪 80 年 代 到 21 世 纪 的 前 10 年 ， 计 算 与 存储 经 历 了 一 次 分 离 
的 变革 。 这 次 分 离 是 由 计算 与 存储 的 性 能 发 展 差距 导致 的 。 基 于 晶体 
管 的 计算 与 基于 机 械 硬盘 介质 的 处 理性 能 差距 越 来 越 大 ， 以 及 存储 数 
据 的 重要 性 不 断 增加 ， 为 便于 提升 资源 利用 率 ， 终 于 导致 了 计算 、 存 
储 的 架构 分 离 ， 各 自 进行 资源 最 优 配置 ( 见 图 6-6) 。 


PC/ 服 务 器 
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图 6-6 ”存储 由 合 到 分 的 历史 

下 面 我 们 介绍 发 生 在 世纪 之 交 的 这 次 计算 、 存 储 分 离 囊 来 的 其 他 
优势 。 

” 应 用 计算 的 高 可 靠 HA 渤 移 能 力 : 通过 多 个 计算 实例 共享 相同 

存储 ， 在 计算 节点 发 生 故 障 后 ， 无 需 耗 时 的 外 存储 数据 迁 
移 ， 即 可 快速 在 其 他 计算 节点 上 恢复 故障 应 用 。 

” 计算 处 理 逻 辑 与 应 用 数据 分 离 ， 使 得 计算 节点 的 更 新 ( 软 硬 
件 升级 ) 不 影响 数据 的 可 获得 性 。 

” 计算 与 存储 各 目 资产 利用 率 最 大 化 及 技术 独立 发 展 : 计算 与 
存储 各 目 独 立 组 成 水 平 资源 地 ， 存 储 资源 池 按 需 向 计算 应 用 
实例 供给 存储 资源 。 

随 着 企业 业务 的 不 断 发 展 ， 特 别 是 互联 网 突飞猛进 的 发 展 ， 这 种 
计算 /存储 分 离 染 构 面临 的 挑战 和 问题 越 来 越 突出 ， 具 体 表现 在 如 下 几 
个 方面 。 

” 计算 与 存储 物理 架构 上 的 人 为 分 割 ， 导 致 系统 成 本 居 高 不 

下 : 目前 业界 主流 的 磁盘 阵列 软 硬 件 普 遍 价 格 昂贵 ， 且 磁盘 
阵列 自身 的 策略 管理 配置 非常 复杂 ， 维 护 成 本 居 高 不 下 ， 尤 
其 是 在 缺乏 IT 专业 人 员 的 场景 《如 行业 分 支 机 构 、SME 等 ) 
下 ， 由 人 工 误 操作 导致 的 业务 中 断 ， 其 风险 较 高 。 


SAN 机 头 成 为 可 能 制约 系统 扩展 性 的 单 点 瓶颈 : 随 着 计算 集 
群 规模 的 不 断 扩 展 ， 由 于 存储 资源 池 集 中 式 控制 机 头 的 存 
在 ， 使 得 共享 存储 系统 的 可 扩展 性 及 可 靠 性 受到 制约 ， 如 采 
用 多 个 SAN 系 统 ， 则 会 导致 各 独立 SAN 系 统 之 间 存 储 无 法 共 
宇 5 

SSD 存 储 介质 的 引入 ， 使 得 SAN 控 制 机 头 可 能 成 为 系统 性 能 瓶 
颈 ，SSD 与 归属 计算 节点 CPU/MEM 之 间 的 最 高 效 连 接 方式 应 
为 PCI-E， 如 果 将 SSD 按 照 传统 存储 模式 集中 部 署 ， 则 控制 机 
头 有 可 能 成 为 CPU 与 SSD 间 高 吞吐 IO 带宽 的 瓶颈 ， 并 且 系 统 
复杂 度 更 高 。 

集中 式 SAN 控 制 机 头 可 能 成 为 影响 系统 整体 可 靠 性 的 单 点 故 
障 风 险 点 : 在 虚拟 化 服务 器 整合 环境 下 ， 成 百 上 千 VM 共 享 同 
一 存储 资源 池 ， 一 旦 磁盘 阵列 控制 器 发 生 故 障 ， 将 导致 整体 
存储 资源 池 不 可 用 。 尽 管 SAN 控 制 机 头 自身 具有 主 备 机 制 ， 
但 依然 存在 异常 条 件 下 主 备 同 时 故障 的 可 能 性 。 

集群 组 网 环境 下 ， 各 计算 节点 的 内 存 /$SSD 作 为 分 层 存 储 的 缓 
存 彼此 孤立 ， 只 能 依赖 集中 存储 机 关内 的 缓存 实现 WO 加 速 : 
共享 存储 的 集群 内 各 节点 Cache 容 量 有 限 ， 但 不 同 节 点 Cache 
无 法 协同 ， 且 存在 可 靠 性 问题 ， 导 致 本 可 作为 集群 共享 缓存 
资源 的 容量 被 白白 浪费 。 

虚拟 化 技术 迅猛 发 展 ， 虚 拟 机 技术 给 服务 器 带 来 更 高 的 利用 
率 、 给 业务 带 来 更 便捷 的 部 署 ， 降 低 了 TCO， 因 而 在 众多 行 
业 得 到 了 广泛 的 应 用 。 与 此 同时 ， 虚 拟 机 应 用 给 存储 带 来 以 
下 挑战 : 第 一 ， 相 比 传统 的 物理 服务 器 方式 ， 单 个 存储 系统 
承载 了 更 多 的 业务 ， 存 储 系统 需要 更 强劲 的 性 能 来 支撑 ; 第 


二 ， 末 用 共享 存储 方式 部 署 虚拟 机 ， 单 个 卷 上 可 能 承载 几 十 
或 上 百 的 虚拟 机 ， 导 致 卷 TO 呈 现 更 多 的 随机 特征 ， 这 对 传统 
的 Cache 技 术 提出 挑战 ; 第 三 ， 单 个 卷 承载 多 个 虚拟 机 业务 ， 
要 求 存储 系统 可 协调 虚拟 机 访问 竞争 ， 保 证 对 QoS 要 求 高 的 
虚拟 机 获取 到 资源 实现 性 能 目标 ; 第 四 ， 单 个 卷 上 承载 较 多 
的 虚拟 机 ， 需 要 卷 具 有 很 高 的 IO 性 能 ， 这 对 传统 受 限于 固定 
硬盘 的 RAID 技 术 提 出 挑战 ; 第 五 ， 虚 拟 机 的 广泛 使 用 ， 需 要 
更 加 高 效 的 技术 来 提高 虚拟 机 的 部 署 效率 ， 加 快 新 业务 的 上 
线 时 间 。 

面 对 这 些 挑战 ， 正 所 谓 “ 合 久 必 分 、 分 久 必 合 ”的 哲学 规律 在 IT 领 
域 同 样 上 演 。 针 对 大 多 数 企 业 事 务 型 IT 应 用 而 言 ， 关 注 核心 在 于 信息 
数据 的 “即时 人 处理” 而 非 “ 存 储 / 归 档 *"， 因 此 存储 向 计算 的 融合 再 次 符合 
企业 业务 应 用 的 根本 诉求 。 通 过 引入 Scale-out 存 储 机 制 ， 可 实现 服务 
器 集群 环境 下 DAS 直 连 硬盘 的 资源 池 化 和 虚拟 化 ， 推 动 计算 与 存储 从 
“物理 分 离 ” 架 构 向 “物理 ”融合 与 “人 远 辑 ”分 离 相 结合 染 构 的 演进 ， 实 现 以 
大 一 统 融 合 架构 形态 实现 对 典型 企业 IT 应 用 整合 及 性 价 比 最 优化 支撑 

( 见 图 6-7) 。 
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图 6-7 Scale-out 架 构 


在 这 种 Scale-out 架 构 与 计算 和 网 络 融合 后 ， 便 形成 了 一 种 更 加 高 
效 的 一 体 化 分 布 式 存储 与 分 布 式 计 算 架 构 〈 见 图 6-8) 。 
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图 6-8 ”融合 一 体 化 架构 
一 体 化 分 布 式 存储 染 构 具有 以 下 鲜明 特点 。 


~ 一 体 化 系统 内 ， 设 置 Layerl 人 Layer3 共 三 层 信 息 存 储 ， 基 于 分 


| 


| 


SS 


布 式 存 储 软件 引擎 完全 水 平 拉 通 ， 且 支持 基于 强 一 致 的 跨 服 
务 器 数据 可 靠 型 。 


Layerl Storage (内 存 ) : 时 延 100 ns (本 地 ) ~100 us 〈 远 
地 ) 


Layer2 Storage (SSD) : 时 延 10 us (本 地 ) ~~300 us 〈 远 
地 ) 

Layer3 Storage (DAS) : 时 延 5ms (本 地 ) ~10 ms 〈 远 地 ) 
Layer4 Storage (SAN) : 时 延 5ms (本 地 ) 人 10 ms 〈 远 地 ) 


通过 上 述 各 层 Storage 的 热点 数据 读 写 推 至 更 上 一 层 Storage， 
实现 数据 1/O 否 吐 及 整个 系统 性 能 的 大 幅 提 升 。 
Layerl Storage (内 存 ) 尽管 吞吐 率 及 时 延 优 势 明 显 ， 但 容量 
和 功 耗 成 本 过 高 ， 因 此 对 于 多 数 应 用 只 能 作为 Cache， 必 须 基 
于 Cache 算 法 (FIFO、LRU、LFU 等 ) 管理 内 存 与 下 一 级 存储 
(SSD/DAS/SAN) 之 间 的 读 写 数据 刷新 。 
Layer2 Storage (SSD) 既 可 以 作为 Cache (针对 数据 量 超出 分 
布 式 Cache 容 量 的 场景 ) ， 也 可 以 作为 最 终 存 储 ( 纯 SSD， 针 
对 数据 容量 不 大 的 场景 ) ， 为 提升 容量 效率 ， 未 来 需 考虑 进 
一 步 引 入 硬 加 速 的 块 级 去 重 引 擎 。 
Layer3 Storage (DAS) 相 比 Layer 4 Storage， 时 延 基 本 相同 ， 
因此 作为 Cache ， 意 义 不 大 ， 但 可 以 作为 Layer 4 Storage 
(SAN) 的 替代 或 补充 (部 分 数据 放置 在 外 置 SAN， 部 分 数 
据 放 置 在 Layer 3 Storage) ， 从 而 达到 降低 用 户 购 置 及 维护 外 
置 存储 的 TCO。 


| 


Layer 2 Storage (SSD) 作为 最 终 存 储 介质 ，[ 因 SSD 不 存在 机 
械 损坏 故障 风险 ， 因 此 关键 在 于 如 何 通 过 优化 的 Cache 算 法 ， 
将 随机 写 IO 串 行 化 ， 从 而 有 效 降低 SSD 写 放大 率 ， 提 升 SSD 
寿命 ， 用 于 中 高 端 数据 库 等 业务 。 

Layer 3 Storage (DAS) 作为 最 终 存 储 介 质 ， 与 Layer 4 Storage 
一 样 ， 需 面 对 硬 盘 机 械 振动 、 磨 损 、 环 境 影 响 等 特殊 因素 的 
制约 ， 因 此 充分 借鉴 和 共享 Layer 4 Storage 在 硬盘 故障 检测 与 
修复 方面 的 长 期 经 验 与 成 果 积 累 。 

针对 新 建 私 有 云 / 公 有 云 的 场景 推荐 采用 Layer 3 Storage; 针对 
IT 平台 替换 或 改造 项 目 ， 可 考虑 借助 存储 虚拟 化 充分 重用 现 
有 的 外 置 Layer 4 Storage， 同 时 将 新 产生 的 业务 数据 部 署 在 
Layer 3 Storage 上 ， 也 可 在 外 置 存 储 退 网 前 将 其 数据 向 Layer 3 
逐步 无 缝 平 消 迁移 。 

基于 内 存 /SSD 网 格 的 计算 近 端 WO 加 速 : SSD 应 用 加 速 需要 靠 
近 服 务 器 和 应 用 侧 ， 这 已 经 成 为 业界 共识 。 业 界 最 具 代 表 性 
的 SSD 加 速 产品 大 多 是 单机 版 ， 不 支持 分 布 式 缓存 一 致 性 ， 
很 多 应 用 场景 下 无 法 使 用 ， 比 如 : 无 法 支持 共享 磁盘 环境 的 
active/active 集 群 ， 如 双 机 、 数 据 库 集群 ; 无 法 文 持 虚拟 机 集 
群 的 动态 资源 调度 和 虚拟 机 迁移 功能 。 而 分 布 式 存 储 引 擎 利 
用 有 最 先进 的 分 布 式 集群 技术 ， 可 以 很 好 地 解决 传统 架构 中 


速 缓 存 和 外 置 低 速 的 互补 。 


~ 基于 Scale-out 计 算 、 存 储 融 合 架构 的 MO 性 能 提升 : 针对 随机 


IOPS 读 写 ， 基 于 分 布 式 存储 软件 ， 各 服务 器 内 存 Cache 总 容量 
相 比 集中 式 SAN 机 头 的 Cache 容 量 增加 可 达 5 倍 以 上 ， 从 而 使 


热点 数据 访问 命中 率 与 读 写 效 率 提升 3 一 5 倍 ; 分 布 式 存 储 可 
以 采用 大 容量 低 成 本 SATA 硬 盘 提 供与 SAS/FC 硬 盘 持平 的 性 
能 ， 而 且 有 效 容 量 更 大 ; 在 针对 大 文件 对 象 的 顺序 读 写 方 
面 ， 分 布 式 存储 为 App 实 例 或 VM 提 供 并 发 读 写 服务 ， 使 得 突 
发 MBPS 提 升 3 僵 5 倍 以 上 。 


一 体 化 分 布 式 存储 架构 与 Google 那 种 “Data Center as a Computer” 的 
区 别 是 ， 后 者 是 面向 海量 搜索 业务 的 计算 /存储 垂直 整合 数据 中 心 ， 前 
者 是 面向 企业 开 核 心 业 务 及 电信 业务 的 计算 存储 垂直 整合 的 高 性 能 、 
高 可 扩展 的 IT 平台 。 

业界 典型 的 分 布 式 存储 技术 主要 有 分 布 式 文件 系统 存储 、 分 布 式 
对 象 存 储 和 分 布 式 块 设备 存储 等 几 种 形式 。 分 布 式 存储 技术 及 其 软件 
产品 已 经 日 趋 成 熟 ， 并 在 IT 行业 得 到 了 广泛 的 使 用 和 验证 ， 例 如 互联 
网 搜索 引擎 中 使 用 的 分 布 式 文件 存储 ， 商 业 化 公有 云 中 使 用 的 分 布 式 
块 存储 等 。 分 布 式 存储 软件 系统 具有 以 下 特点 。 


更 


高 性 能 : 分 布 式 哈 希 数 据 路 由 ， 数 据 分 散 存 放 ， 实 现 全 局 负 
载 均 衡 ， 不 存在 集中 的 数据 热点 和 大 容量 分 布 式 缓存 。 

高 可 靠 : 采用 集群 管理 方式 ， 不 存在 单 点 故障 ， 有 灵活 配 置 多 
数据 副本 ， 不 同 数据 副本 存放 在 不 同 的 机 架 、 服 务 器 和 硬盘 
上 ， 单 个 物理 设备 故障 不 影响 业务 的 使 用 ， 系 统 检测 到 设备 
故障 后 可 以 自动 重建 数据 副本 。 

高 扩展 : 没有 集中 式 机 头 ， 支 持平 滑 扩 容 ， 容 量 几乎 不 受 限 
制 。 

易 管 理 : 存储 软件 直接 部 署 在 服务 器 上 ， 没 有 单独 的 存储 专 
用 硬件 设备 ， 通 过 Web UI 的 方式 进行 软件 管理 ， 配 置 简单 。 


6.4.2 ”分 布 式 存储 系统 的 架构 
1. 分 布 式 存储 池 的 概念 


分 布 式 存储 系统 把 所 有 服务 器 的 本 地 硬盘 组 织 成 各 干 个 资源 池 ， 
基于 资源 池 提 供 创建 /删除 应 用 卷 Volume) 、 创 建 / 删 除 快 照 等 接口 ， 
为 上 层 软 件 提 供 卷 设备 功能 。 
分 布 式 存储 系统 资源 池 具 有 如 下 特点 〈 见 图 6-9) : 
” 每 块 硬盘 分 为 若干 个 数据 分 片 (Partition) ， 每 个 Partition 只 属 
于 一 个 资源 闻 ，Partition 是 数据 多 副本 的 基本 单位 ， 也 就 是 说 
多 个 数据 副本 指 的 是 多 个 Partition。 

” 系统 自动 保证 多 个 数据 副本 尽 可 能 分 布 在 不 同 的 服务 器 上 
(服务 器 数 大 于 数据 副本 数 时 ) 。 

” 系统 自动 保证 多 个 数据 副本 之 间 的 数据 强 一 致 性 。 

” Partition 中 的 数据 以 Key-Value 的 方式 存储 。 

” 对 上 层 应 用 提供 卷 设备 (Volume) ， 没 有 LUN 的 概念 ， 使 用 

简单 。 

~ 系统 自动 保证 每 个 硬盘 上 的 主 用 Partition 和 备用 Partition 数 量 是 

相当 的 ， 避 人 免 出 现 集中 的 热点 。 

” 所 有 硬盘 都 可 以 用 做 资源 池 的 热 备 盘 ， 单 个 资源 池 最 大 支持 

数 百 上 干 块 硬盘 。 


图 6-9 ”分 布 式 存储 系统 存储 资源 池 


2. 分 布 式 存储 系统 的 功能 框架 


分 布 式 存储 系统 采用 分 布 式 集群 控制 技术 和 分 布 式 Hash 数 据 路 由 
技术 ， 提 供 分 布 式 存储 功能 特性 。 分 布 式 存储 系统 功能 架构 图 如 图 6- 
10 所 示 。 
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图 6-10 分布 式 存储 系统 功能 架构 


分 布 式 存储 系统 功能 模块 具体 如 下 。 


到 


SS 


Y 
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存储 接口 层 : 通过 SCSI 驱 动 接 口 向 操作 系统 、 数 据 库 提供 卷 
设备 。 

存储 服务 层 : 提供 各 种 存储 高 级 特性 ， 如 快照 、 链 接 克 隆 、 

精简 配置 、 分 布 式 Cache、 容 灾 备 份 等 。 

存储 引擎 层 : 分 布 式 存储 系统 存储 基本 功能 ， 包 括 管理 状态 
控制 、 分 布 式 数据 路 由 、 强 一 致 性 复制 技术 、 集 群 故 障 自 愈 
与 并 行 数据 重建 子 系统 等 。 

存储 管理 层 : 实现 分 布 式 存储 系统 软件 的 安装 部 署 、 自 动 化 
配置 、 在 线 升 级 、 告 警 、 监 控 和 日 志 等 OM 功 能 ， 同 时 对 用 户 
提供 Portal 界 面 。 


.分 布 式 存储 系统 的 应 用 场景 


分 布 式 存储 系统 尤其 适合 计算 和 存储 融合 一 体 化 系统 。 传 统 的 虚 
拟 化 方式 是 在 相互 分 离 的 计算 、 存 储 和 网 络 设备 上 茎 加 了 一 层 虚 拟 化 
软件 。 这 种 方式 虽然 可 以 提升 资源 利用 率 ， 但 是 由 于 系统 的 复杂 性 ， 
并 不 能 简化 各 类 基础 设施 的 运 维 成 本 。 融 合 一 体 化 系统 真正 实现 了 计 
算 、 存 储 和 网 络 设备 的 深度 融合 ， 硬 件 设备 与 虚拟 化 软件 平台 的 一 体 
化 。 一 体 化 开 系 统 采用 分 布 式 存储 系统 把 计算 服务 器 的 本 地 硬盘 组 织 
成 一 个 类 似 SAN 设 备 的 虚拟 存储 闻 ， 对 上 层 应 用 提供 存储 功能 。 
在 I 平台 中 ， 分 布 式 存储 系统 替代 了 传统 的 外 置 存 储 设备 。 适 合 
使 用 分 布 式 存 储 系统 的 应 用 场景 。 
~ VDI、OA 应 用 。 其 典型 特点 是 : 容量 共享 精简 分 配 ， 性 能 共 
享 分 时 复 用 ， 计 算 和 存储 配 比 相对 均衡 ， 成 本 性 价 比 要 求 
高 。 
” 虚拟 化 环境 混合 应 用 。 其 典型 特点 是 : 容量 共享 需求 明显 ， 
多 应 用 混合 负载 ， 线 性 扩展 。 
> OLAP 应 用 。 其 典型 特点 是 : 大 并 发 吞吐 量 ， 计 算 和 存储 带宽 
要 求 高 。 
” OLTP 应 用 。 其 典型 特点 是 : IOPS 并 发 度 高 。 


6.4.3 ”分 布 式 存储 关键 技术 : 性 能 提升 技术 


性 能 卓越 


分 布 式 存储 系统 通过 创新 的 架构 把 分 散 的 、 低 速 的 SATA/SAS 机 械 
硬盘 组 织 成 一 个 高 效 的 类 SAN 存 储 池 设备 ， 提 供 比 SAN 设 备 更 高 的 
LILO， 把 性 能 发 挥 到 了 极致 。 


分 布 式 存储 系统 一 般 支 持 使 用 SSD 替 代 HDD 作 为 高 速 存储 设备 ， 
支持 使 用 InfiniBand 网 络 替 代 GE/10GE 网 络 提供 更 高 的 带宽 ， 为 对 性 能 
要 求 极 高 的 大 数据 量 实时 处 理 场 景 提 供 完 美的 支持 。 

分 布 式 存储 系统 采用 无 状态 的 分 布 式 软件 机 头 ， 机 头 部 署 在 各 个 
服务 器 上 ， 无 集中 式 机 头 的 性 能 瓶颈 。 单 个 服务 器 上 软件 机 头 只 占用 
较 少 的 CPU 资源 ， 却 能 提供 比 集中 式 机 头 更 高 的 IOPS。 其 实现 了 计算 
和 存储 的 融合 ， 缓 存 和 带宽 都 均匀 分 布 到 各 个 服务 器 节点 上 。 

分 布 式 存储 系统 集群 内 各 服务 器 节点 的 硬盘 使 用 独立 的 VO 带宽 ， 
不 存在 独立 存储 系统 中 大 量 磁盘 共享 计算 设备 和 存储 设备 之 间 有 限 带 
宽 的 问题 。 其 将 服务 器 部 分 内 存 用 做 读 缓存 ，NVDIMM 用 做 写 缓存 ， 
数据 缓存 均匀 分 布 到 各 个 节点 上 ， 所 有 服务 器 的 缓存 总 容量 远大 于 采 
用 外 置 独立 存储 的 方案 。 即 使 采用 大 容量 低 成 本 的 SATA 硬 盘 ， 分 布 式 
存储 系统 仍然 可 以 发 挥 很 高 的 1/O 性 能 ， 整 体 性 能 提升 1~3 倍 ， 同 时 提 
供 更 大 的 有 效 容量 。 


全 局 负载 均衡 


分 布 式 存储 系统 的 实现 机 制 保证 了 上 层 应 用 对 数据 的 W/O 操 作 均 义 
分 布 在 不 同 服务 器 的 不 同 硬盘 上 ， 不 会 出 现 局 部 的 热点 ， 实 现 全 局 负 
载 均衡 。 

第 一 ， 系 统 目 动 将 数据 块 打 散 存储 在 不 同 服务 器 的 不 同 硬盘 上 ， 
冷 热 不 均 的 数据 会 均匀 分 布 在 不 同 的 服务 器 上 ， 不 会 出 现 集中 的 热 
点 。 

第 二 ， 效 据 分 片 分 配 算法 保证 了 主 用 副本 和 备用 副本 在 不 同 服务 
器 和 不 同 硬盘 上 的 均匀 分 布 ， 换 名 话说， 每 块 硬盘 上 的 主 用 副本 和 备 


副本 数量 是 均匀 的 。 


第 三 ， 扩 容 节 点 或 者 故障 减 容 节 点 上 时， 数据 恢复 重建 算法 保证 了 
重建 后 系统 中 各 节点 负载 的 均衡 性 。 
分 布 式 SSD 存 储 


分 布 式 存储 系统 通过 支持 高 性 能 应 用 设计 的 SSD 存 储 系 统 ， 可 以 
拥有 比 传统 的 机 械 硬 盘 (SATA/SAS) 更 高 的 读 写 性 能 。 特 别 是 PCIe 卡 
形式 的 SSD ， 会 带 来 更 高 的 带宽 和 IO ， 采 用 PCIe 2.0 x8 的 接口 ， 可 以 
提供 高 达 3.0GB 的 读 / 写 带宽 。SSD IO 性 能 可 以 达到 4KB 数 据 块 ，100% 
随机 ， 提 供 高 达 600K 的 持续 随机 读 IOPS 和 220K 的 持续 随机 写 IOPS。 

SSD 存 在 一 个 普遍 的 问题 ， 就 是 写 寿命 问题 ， 在 采用 SSD 的 时 候 ， 
分 布 式 SSD 存 储 系统 通过 以 下 措施 增强 了 可 靠 性 ( 见 图 6-11) 。 

~ 内 蔚 的 ECC 检 错 / 纠 错 引 擎 和 RAID53| 擎 ， 数 据 通 道 间 形成 二 

维 的 检 错 / 纠 错 机 制 |; 

> 内 置 DATA Scrubbing 引 擎 定时 检测 存储 数据 ， 提 前 预防 数据 

错误 的 产生 ; 
~ 通道 间 使 用 Dynamic RAID 算 法 ， 实 现 通道 间 的 资产 共享 ， 确 
保 在 心 片 坏 块 过 多 甚至 是 多 个 心 片 故障 的 情况 下 均 能 正常 工 
作 ; 

> 内 部 实现 冷 热 数 据 分 类 与 管理 ， 配 合 先进 的 磨损 算法 ， 最 大 
程度 地 提升 回收 效率 ， 降 低 写 磨损 ， 从 而 提升 SSD 的 使 用 寿 
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图 6-11 分布 式 存 储 系统 支持 分 布 式 SSD 存 储 系统 


高 性 能 快照 


分 布 式 存 储 系统 提供 了 快照 机 制 ， 将 用 户 的 逻辑 卷 数 据 在 某 个 时 
间 扣 的 状态 保存 下 来 ， 后 续 可 以 作为 导出 数据 、 恢 复数 据 之 用 。 

分 布 式 存储 系统 快照 数据 基于 DHT 机 制 ， 快 照 不 会 引起 原 卷 性 能 
下 降 。 针 对 一 块 容量 为 2TB 的 硬盘 ， 完 全 在 内 存 中 构建 索引 需要 几 十 
MB 空间 ， 通 过 一 次 Hash 碍 找 即 可 判断 有 没有 做 过 快照 ， 以 及 最 新 快照 
的 存储 位 置 ， 因 此 效率 很 高 ( 见 图 6-12) 。 
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图 6-12 ”分布 式 存储 系统 快照 
高 性 能 链接 克隆 


分 布 式 存 储 系统 可 以 基于 增 量 快照 提供 链接 克隆 机 制 ， 基 于 一 个 
快照 创建 出 多 个 克隆 卷 ， 各 个 克隆 卷 刚 创建 出 来 时 的 数据 内 容 与 快照 
中 的 数据 内 容 一 致 ， 后 续 对 于 克隆 卷 的 修改 不 会 影响 原始 的 快照 和 其 
他 克隆 卷 。 分 布 式 存储 系统 通过 支持 批量 进行 虚拟 机 卷 部 署 ， 可 以 在 
秒 级 批量 创建 上 百 个 虚拟 机 卷 。 克 隆 卷 可 支持 创建 快照 、 从 快照 恢复 
以 及 再 次 作为 母 卷 进行 克隆 操作 〈 见 图 6-13) 。 


克隆 卷 克隆 卷 作为 母 卷 快照 再 克隆 


图 6-13 ”分 布 式 存 储 系统 链接 克隆 
二 i 
高 速 InfiniBand 网 络 


为 消除 分 布 式 存储 环境 中 存储 交换 瓶颈 ， 分 布 式 存储 系统 可 以 部 
署 为 高 带宽 应 用 设计 的 InfiniBand 网 络 。InfiniBand 网 络 可 以 为 分 布 式 存 
储 系统 带 来 以 下 特性 : 

> 56Gbps FDR InfiniBand， 超 高 速 互联 ; 

> 标准 成 熟 多 级 胖 树 组 网 ， 平 滑 容 量 扩容 ; 

” 近似 无 阻塞 通信 网 络 ， 数 据 交 换 无 瓶颈 ，; 

” 纳 秒 级 通信 时 延 ， 计 算 存储 信息 及 时 传递 ; 

”~ 无 损 网 络 QoS ， 数 据 传 送 无 丢失 ; 

” 主 备 端口 多 平面 通信 ， 风 余 通 信 无 忧 ; 

” 单口 56Gbps 带 宽 ， 完 美 配 合 极速 SSD 存 储 吞 吐 ， 性 能 无 限 。 


6.4.4 ”分布 式 存储 关键 技术 : 简化 管理 技术 


分 布 式 存储 系统 采用 的 分 布 式 集群 架构 ， 天 然 支持 无 性 能 损耗 的 
弹性 扩展 。 

DHT 数 据 路 由 : 分 布 式 存储 系统 采用 DHT (Distribute Hash 
Table， 分 布 式 哈 希 表 ) 路 由 数据 算法 。 每 个 存储 节点 负责 存储 一 小 部 
分 数据 ， 基 于 DHT 实 现 整个 系统 的 寻 址 和 存储 。 

DHT 算 法 具有 以 下 特点 。 

”均衡 性 (Balance) : 数据 能 尽 可 能 地 分 布 到 所 有 的 节点 中 ， 

这 样 可 以 使 得 所 有 节点 负载 均衡 。 

> 单调 性 (Monotonicity) : 当 有 新 节点 加 入 到 系统 中 时 ， 系 统 

重新 做 数据 分 配 ， 原 来 的 数据 存储 位 置 不 需要 很 大 的 调整 。 

由 于 分 布 式 人 存储 系统 存储 路 由 采用 分 布 式 哈 希 算法 ， 使 得 人 存储 系 
统 具 有 如 下 特点 〈 见 图 6-14) 。 

” 快速 达到 负载 均衡 : 新 加 入 节点 只 需要 搬移 很 少 部 分 数据 分 

片 即 可 达到 负载 均衡 。 
” 数据 高 可 靠 : 灵活 配置 的 分 区 分 配 算 法 ， 避 免 多 个 数据 副本 
位 于 同一 个 服务 器 、 同 一 个 磁盘 上 。 
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图 6-14 ”分布 式 存储 系统 DHT 数 据 路 由 


平滑 扩容 节点 


分 布 式 存储 系统 的 分 布 式 架构 具有 良好 的 可 扩展 性 ， 支 持 超大 容 
量 的 存储 ( 见 图 6-15) 。 

”~ DHT 算 法 保证 了 扩容 后 不 需要 做 大 量 的 数据 搬迁 ， 可 以 快速 
达到 负载 均衡 状态 。 

” 扩展 计算 节点 可 以 同步 扩容 存储 空间 ， 新 扩展 节点 和 原 有 节 
点 可 构成 统一 的 资源 池 进 行使 用 。 

” 分 布 式 存储 系统 分 布 式 系 统 的 带宽 和 Cache 均 匀 分 布 在 各 个 节 
点 上 ， 带 宽 和 Cache 不 会 随 着 节点 的 扩容 而 减少 。 


| 


图 6-15 ”分布 式 存 储 系统 平滑 扩容 节点 


资源 按 需 使 用 


分 布 式 存储 系统 提供 了 精简 配置 机 制 ， 为 用 户 提供 比 实际 物理 存 
储 更 多 的 虚拟 存储 资产 。 相 比 直接 分 配 物理 存储 资产 ， 可 以 显著 提高 
存储 空间 利用 率 。 


采用 分 布 式 Hash 技 术 ， 天 然 支持 分 布 式 自动 精简 配置 (Thin 
Provisioning)， 无 需 预先 分 配 空间 。 

精简 配置 (Thin Provisioning) 无 任何 性 能 下 降 (IPSAN 扩 展 空间 
时 需要 耗费 额外 的 性 能 ) ， 如 图 6-16 所 示 。 


传统 配置 
] HE 9: HY 
\ ， 自 动 精简 配置 
'800GB'!  '600GB';  '900GB ， 
9 
图 6-16 ”分布 式 存储 系统 自动 精简 配置 
统一 的 Web 管理 界面 


分 布 式 存 储 环境 ， 在 大 规模 场景 下 涉及 设备 众多 ， 各 组 件 的 运行 
维护 需要 通过 自动 化 形式 完成 ， 尽 量 减少 人 工 干预 。 用 户 从 Portal 界 面 
可 以 查看 系统 监控 (KPI 指标) 、 告 警 事件 和 存储 池 状 态 等 ， 操 作 维 护 
简单 ， 有 力 帮 助 分 布 式 系统 在 传统 企业 落地 部 署 〈 见 图 6-17) 。 


首页 磁盘 管理 
磁盘 升级 刷新 
管理 IP/ 存 储 IP 


192.168.40.52/192.168.50.25 


Disk0 Diskl Disk2 Disk3 Disk4 DiskS 
192.168.40.9/192.168.50.23 

Disk0 Diskl Disk2 Disk3 Disk4 Disk5 
192.168.40.7/192.168.50.21 

Disk0 Diskl Disk2 Disk3 Disk4 Disk5 
192.168.40.8/192.168.50.22 

Disk0 Diskl Disk2 Disk3 Disk4 Disk5 
192.168.40.51/192.168.50.24 

Disk0 Diskl Disk2 Disk3 Disk4 Disk5 

无 磁盘 正常 是 ks 未 使 


图 6-17 分 布 式 存储 系统 Web UI 界面 样 例 
广泛 兼容 能 力 


其 一 般 要 求 分 布 式 存储 系统 采用 通用 x86 服 务 器 平台 ， 在 软件 上 支 
持 通 用 的 操作 系统 、 数 据 库 系统 及 虚拟 化 软件 。 


6.4.5 “分 布 式 存储 关键 技术 : 安全 可 靠 性 增强 技术 


集群 管理 


分 布 式 人 存储 系统 的 分 布 式 存储 软件 采用 集群 管理 方式 ， 规 避 单 点 
故障 ， 一 个 节点 或 者 一 块 硬盘 故障 自动 从 集群 内 隔离 出 来 ， 不 影响 整 
个 系统 业务 的 使 用 。 

集群 内 选举 进程 Leader，Leader 负 责 数 据 存储 逻辑 的 处 理 ， 当 
Leader 出 现 故 障 ， 系 统 自 动 选举 其 他 进程 成 为 新 的 Leader。 


多 数据 副本 


分 布 式 存储 系统 存储 系统 中 没有 使 用 传统 的 RAID 模 式 来 保证 数据 
的 可 靠 性 ， 而 是 采用 了 多 副本 备份 机 制 ， 即 同一 份 数据 可 以 复制 保存 
多 个 副本 。 在 数据 存储 前 ， 对 数据 进行 分 片 ， 分 片 后 的 数据 按照 一 定 
的 规则 保存 集群 节点 上 。 

如 图 6-18 所 示 ， 对 于 服务 器 Serverl 的 磁盘 Disk1 上 的 数据 块 P1， 它 
的 数据 备份 为 服务 器 Server2 的 磁盘 Disk2 上 P1'，P1 和 P1' 构 成 了 同一 个 
数据 块 的 两 个 副本 。 


is 
[| 
大 间 
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图 6-18 ”分 布 式 存 储 系统 多 数据 副本 


数据 一 致 性 


数据 一 致 性 的 要 求 是 : 当 应 用 程序 成 功 写 入 一 份 数 据 时 ， 后 端的 
几 个 数据 副本 必然 是 一 致 的 ， 当 应 用 程序 再 次 读 取 时 ， 无 论 在 哪个 副 
本 上 读 取 ， 都 是 之 前 写 入 的 数据 ， 这 种 方式 也 是 绝 大 部 分 应 用 程序 所 
希望 的 。 

保证 多 个 数据 副本 之 间 的 数据 一 致 性 是 分 布 式 存储 系统 的 重要 技 
术 点 ， 分 布 式 存储 系统 采用 强 一 致 性 复制 技术 确保 各 个 数据 副本 的 一 


致 性 ， 一 个 副本 写 入 ， 多 个 副本 读 取 。 

分 布 式 存储 系统 还 支持 Read Repair 机 制 。Read Repair 机 制 是 指 在 
读数 据 失 败 时 ， 会 判断 错误 类 型 ， 如 果 是 磁盘 届 区 读 取 错误 ， 可 以 通 
过 从 其 他 副本 读 取 数据 ， 然 后 重新 写 入 该 副本 的 方法 进行 恢复 ， 从 而 
保证 数据 副本 总 数 不 减 少 。 


快速 数据 重建 


分 布 式 存储 系统 内 部 需要 具备 强大 的 数据 保护 机 制 。 数 据 存 储 时 
被 分 片 打 散 到 多 个 节点 上 ， 这 些 分 片 数 据 支持 分 布 在 不 同 的 存储 节 
点 、 不 同 的 机 柜 之 间 ， 同 时 数据 存储 时 采用 多 副本 技术 ， 数 据 会 自动 
保存 多 份 ， 每 一 个 分 片 的 不 同 副 本 也 被 分 散 保 存 到 不 同 的 存储 节点 
上 。 在 硬件 发 生 故 障 导 致 效 据 不 一 致 时 ， 分 布 式 存储 系统 通过 内 部 的 
自 检 机 制 ， 通 过 比较 不 同 节点 上 的 副本 分 片 ， 自 动 发 现 数据 故障 。 发 
现 故 障 后 启动 数据 修复 机 制 ， 在 后 台 修 复数 据 。 由 于 数据 被 分 散 到 多 
个 不 同 的 存储 节点 上 保存 ， 数 据 修复 时 ， 在 不 同 的 节点 上 同时 启动 修 
复 ， 每 个 节点 上 只 需 修复 一 小 部 分 数据 ， 多 个 节点 并 行 工作 ， 有 效 避 
免 单个 节 扣 修复 大 量 数据 所 产生 的 性 能 瓶 有 贷 ， 对 上 层 业 务 的 影响 做 到 
最 小 化 。 数 据 故 障 上 自动 恢复 流程 如 图 6-19 所 示 。 


数据 分 片 存储 硬件 故障 故障 自动 检测 


多 节点 并 行 恢复 自动 重建 数据 副本 


图 6-19 ”分 布 式 存储 系统 数据 重建 流程 

分 布 式 存储 系统 需要 支持 并 行 、 快 速 故 障 处 理 和 重建 : 

” 数据 分 片 在 资源 池内 被 打 散 ， 硬 盘 出 现 故 障 后 ， 可 在 资源 池 
泥 围 内 自动 并 行 重建 ; 

” 数据 分 布 上 支持 跨 服务 器 或 跨 机 柜 ， 不 会 因 某 个 服务 器 故障 
而 导致 数据 不 可 访问 ，; 

”扩容 时 可 以 自动 进行 负载 均衡 ， 应 用 无 需 调 整 即 可 获得 更 大 
的 容量 和 性 能 。 


掉 电 保 护 


分 布 式 存储 系统 运行 过 程 中 可 能 会 出 现 服务 器 突然 下 电 的 情况 ， 
分 布 式 存储 系统 在 内 存 中 的 元 数据 和 写 缓存 数据 会 随 着 掉 电 而 丢失 ， 
需要 使 用 NVDIMM 非 易 失 内 存 来 保存 和 恢复 元 数据 和 缓存 数据 。 

部 署 分 布 式 存储 系统 软件 的 每 一 台 服 务 器 要 求 配 备 NVDIMM 内 存 
条 ， 服 务 器 挤 电 时 会 把 元 数据 和 缓存 数据 写 入 NVDIMM 的 Flash 中 ， 上 
电 后 又 会 把 Flash 中 的 数据 还 原 到 内 存 中 。 

分 布 式 存储 系统 能 够 识别 出 系统 中 的 NVDIMM 内 存 ， 并 把 需要 保 
护 的 数据 按照 内 部 规则 存放 在 NVDIMM 中 ， 以 便 提供 掉 电 保护 功能 。 


第 7 章 ” 云 接 入 的 关键 技术 架构 与 
应 用 


我 们 知道 ， 一 个 发 电厂 建设 好 后 ， 若 每 家 每 户 使 用 电 的 话 ， 还 需 
要 架设 长 途 电缆 、 建 设 变 电站 、 在 居民 楼 设置 变压器 、 在 每 家 每 户 铺 
设 电线 、 安 置 插座 和 开关 ， 设 置 电表 ， 这 样 才能 够 将 电力 传送 到 千家 
万 户 。 同 样 地 ， 第 4 章 、 第 5 章 和 第 6 章 分 别 讲述 了 计算 虚拟 化 、 网 络 虚 
拟 化 和 存储 虚拟 化 ， 利 用 这 些 技术 ， 我 们 已 经 将 分 布 在 不 同 地 方 的 数 
据 中 心 进行 虚 拟 化 ， 构 筑 一 个 可 以 提供 云 服 务 的 、 很 大 的 厢 资 源 池 ， 
就 是 说 ，“IT 电 厂 ”* 已 经 建成 。 但 是 ， 对 于 最 终 的 用 户 ， 要 获得 并 使 用 
IT 资 源 ， 就 要 解决 如 何 高 效 访 问 云 计算 系统 以 获取 所 需 的 IT 资 源 ， 并 
获得 满意 的 访问 体验 的 问题 ， 这 就 是 云 接 入 。 


7.1 云 的 
7.1.1 ”什么 是 云 接 入 


云 接 入 是 指 从 单一 平台 实现 桌面 和 应 用 虚拟 化 ， 提 供 固 是 和 移动 

端 融合 接 入 的 统一 工作 空间 ， 帮 助 客户 对 固定 办 公 和 移动 办 公 环 境 
下 的 桌面 、 应 用 和 数据 进行 统一 管理 、 发 布 和 聚合 。 它 是 一 种 基于 云 
计算 的 终端 用 户 计 算 模 式 。 在 这 种 模式 中 ， 所 有 的 应 用 程序 都 在 云 数 
据 中 心 运行 ， 应 用 程序 无 需 在 终端 上 安装 。 用 户 通过 终端 云 接 入 协议 
连接 到 云 数 据 中 心 ， 并 运行 在 云 数 据 中 心 的 程序 ， 以 获取 程序 运行 结 
果 。 


随 着 企业 信息 化 进程 的 不 断 深 入 ， 企 业 中 增加 了 各 种 各 样 的 电子 
设备 。 由 于 传统 开 的 束缚 ， 企 业 IT 团 队 依然 要 维护 大 量 的 传统 PC， 这 
不 仅 需 要 大 量 的 人 力 物 力 ， 而 且 在 进行 外 网 接 入 以 及 异地 登录 的 时 候 
无 法 很 好 地 保障 企业 数据 安全 。 全 球 可 连接 互联 网 设备 的 出 货 情况 显 
示 ，PC 所 占 份额 越 来 越 小 。2013 年 ， 智 能 手机 出 货 量 接近 10 亿 部 。 据 
调查 ， 美 国人 每 天 在 智能 手机 上 花 1 个 小 时 ， 每 天 在 平板 电脑 上 花 半 个 
小 时 。 移 动 囊 来 了 娱乐 、 通 信 、 媒 体 和 商务 新 方式 。 企 业 IT 基 础 染 构 
要 不 断 适应 这 种 新 变化 。 

云 接 入 很 好 地 解决 了 这 些 间 题 ， 不 仅 可 以 快速 地 搭建 企业 IT 基 础 
染 构 ， 还 可 以 快速 对 员工 账户 进行 管理 ， 实 现 跨 平台 作业 。 

桌面 去 是 对 云 接 入 桌面 这 一 侧重 点 的 专门 阐述 。 


7.1.2 云 接 入 的 作用 和 意义 


云 接 入 的 业务 价值 很 多 ， 除 了 上 面 所 提 到 的 随时 随地 访问 桌面 以 
外 ， 还 有 下 面 一 些 重要 的 业务 价值 。 


数据 上 移 ， 信 息 安 全 


传统 桌面 环境 下 ， 由 于 用 户 数据 都 保存 在 本 地 PC， 因 此 内 部 泄密 
途径 众多 ， 且 容易 受到 各 种 网 络 攻击 ， 从 而 导致 数据 丢失 。 云 接 入 桌 
面 环境 下 ， 终 端 与 效 据 分离 ， 本 地 终端 只 显示 设备 ， 无 本 地 存储， 所 
有 的 桌面 数据 都 集中 存储 在 企业 数据 中 心 ， 无 需 担心 企业 的 智力 资产 
泄露 。 除 此 之 外 ，TC 的 认证 接 入 、 加 密 传输 等 安全 机 制 ， 保 证 了 云 接 
入 桌面 系统 的 安全 可 靠 。 


高 效 维护 ， 自 动 管控 


传统 桌面 系统 故障 率 高 ， 据 统计 ， 平 均 每 400 台 PC 机 就 需要 一 名 
专职 IT 人 员 进 行 管理 维护 ， 且 每 台 PC 维 护 流程 (故障 申报 -> 安排 人 员 
维护 -> 故障 定位 -> 进行 维护 ) 需要 2 人 4 个 小 时 。 

在 云 接 入 桌面 环境 下 ， 可 实现 资源 自动 管控 ， 维 护 方便 简单 ， 节 
省 IT 投资 。 

” 维护 效率 提升 : 云 接 入 桌面 云 不 需要 前 端 维护 ， 强 大 的 一 键 

式 维护 工具 让 自助 维护 更 加 方便 ， 提 高 企业 运营 效率 。 使 用 
云 接 入 提 面 后 ， 每 位 IT 人 员 可 管理 超过 2000 台 虚拟 泉 面 ， 维 
护 效率 提高 4 倍 以 上 。 

> 资源 自动 管控 : 白天 可 自动 监控 资源 负载 情况 ， 保 证 物理 服 

务 器 负载 均衡 ;夜间 可 根据 虚拟 机 资源 占用 情况 ， 关 闭 不 使 
用 的 物理 服务 器 ， 节 能 降 耗 。 


应 用 上 移 ， 业 务 可 靠 


在 传统 桌面 环境 下 ， 所 有 的 业务 和 应 用 都 在 本 地 PC 上 进行 处 理 ， 
稳定 性 仅 99.5%， 年 宕 机 时 间 约 21 个 小 时 。 在 云 接 入 桌面 方案 中 ， 所 有 
的 业务 和 应 用 都 在 数据 中 心 进行 处 理 ， 强 大 的 机 房 保 障 系统 能 确保 全 
局 业务 年 度 平均 可 用 度 达 99.9%， 充 分 保障 业务 的 连续 性 。 各 类 应 用 的 
稳定 运行 ， 有 效 降低 了 办 公 环 境 的 管理 维护 成 本 。 


无 颖 切换 ， 移 动 办 公 


在 传统 桌面 环境 下 ， 用 户 只 能 通过 单一 的 专用 设备 访问 其 个 性 化 
介面 ， 这 极 大 地 限制 了 用 户 办 公 地 的 灵活 性 。 采 用 云 接 入 吕 面 ， 由 于 
数据 和 桌面 都 集中 运行 和 保存 在 数据 中 心 ， 用 户 可 以 不 中 断 应 用 运 
行 ， 实 现 无 缝 切换 办 公 地 点 。 


降温 去 噪 ， 绿 色 办 公 


节能 、 无 噪 的 TC 部 署 ， 有 效 地 解决 了 密集 办 公 环 境 的 温度 和 噪音 
问题 。TC 让 办 公 室 噪音 从 50 分 贝 降低 到 10 分 贝 ， 办 公 环 境 变 得 更 加 安 
静 。TC 和 液晶 显示 器 的 总 功 耗 大 约 60W 左 右 ， 终 端 低能 耗 可 以 有 效 地 
减少 降温 费用 。 


资源 弹性 ， 复 用 共享 


” 资源 弹性 : 在 云 接 入 桌面 环境 下 ， 所 有 资源 都 集中 在 数据 中 
心 ， 可 实现 资源 的 集中 管控 ， 弹 性 调度 。 

” 资源 利用 率 提高 : 资源 的 集中 共享 ， 提 高 了 资源 利用 率 。 传 
统 PC 的 CPU 平均 利用 率 为 5% 玉 20%， 在 云 接 入 桌面 环境 下 ， 
云 数 据 中 心 的 CPU 利用 率 可 控制 在 60% 左 右 ， 提 升 了 整体 资 
源 利用 率 。 


安装 便捷 ， 部 署 快速 


云 接 入 桌面 解决 方案 具有 安装 便捷 、 部 署 快速 的 特点 。 到 客户 现 
场 后 ， 只 需 服 务 器 上 电 ， 进 行 云 接 入 桌面 软件 的 向 导 式 安装 ， 接 通 网 
络 并 进行 相关 业务 配置 即 可 进行 业务 发 放 ， 大 幅度 提高 了 部 署 效率 。 


7.1.3 ” 云 接 入 的 挑战 和 需求 


云 接 入 的 挑战 和 需求 ， 主 要 集中 在 如 何 应 用 虚拟 化 技术 为 终端 用 
户 提供 资源 访问 的 便利 性 、 安 全 性 以 及 用 户 体 验 上 ， 通 过 分 析 这 些 典 
型 技术 的 特点 ， 可 以 发 现 他 们 仍然 存在 如 下 一 些 难以 解决 的 问题 。 


外 设 兼容 性 


在 云 接 入 桌面 虚拟 化 项 目 中 对 外 设 的 支持 是 非常 普遍 的 ， 绝 大 多 
数 虚 拟 桌 面 基 础 架构 项 目 中 都 会 遇 到 用 户 对 外 设 的 需求 ， 但 有 时 也 非 
单 灰 手 。 众 所 周知 ， 外 设 在 云 终端 上 接 入 ， 在 后 端 做 梨 面 识别 ， 这 融 
涉及 将 具有 电器 特性 的 硬件 设备 通过 网 络 传输 到 后 端的 桌面 中 ， 并 且 
设备 本 身 的 驱动 是 在 前 端 还 是 后 端 ， 都 需要 桌面 云 厂 家 考虑 ， 加 上 国 
内 外 设 的 多 样 性 和 不 标准 性 ， 要 在 桌面 云 中 支持 具有 多 样 性 复杂 性 的 
外 设 ， 需 要 厂家 有 独特 的 外 设 支 持 技术 。 


视频 体验 


云 接 入 桌面 的 计算 和 存储 全 都 在 数据 中 心 ， 终 端 只 负责 键盘 鼠标 
的 IO 和 显示 的 输出 ， 此 时 云集 面 的 传输 协议 融 显 得 万 为 重要 。 普 通 办 
公 提 面 的 传输 没有 什么 问题 ， 但 是 实际 上 用 户 可 能 有 各 种 各 样 的 业务 
需求 ， 例 如 视频 ， 这 类 业务 在 终端 桌面 融 可 能 出 现 画 面 不 流畅 ， 终 端 
画面 出 现 马赛 克 ， 更 别提 播放 三 维 动画 了 ， 尤 其 随 着 桌面 互联 网 的 发 
展 ， 很 多 提 面 虚拟 化 方案 需要 基于 互联 网 部 署 ， 而 给 予 互 联网 的 传输 
效果 更 是 大 打折 扣 。 这 要 求 桌 面 云 厂 家 在 桌面 传输 协议 上 有 独特 的 通 


道 设计 ， 通 过 不 同 的 通道 来 处 理 不 同 的 桌面 显示 ， 并 且 在 带宽 上 能 优 
化 处 理 。 


3D 应 用 


虚拟 化 桌面 固然 有 其 诱 人 之 处 ， 但 是 目前 主流 的 桌面 虚拟 化 技术 
在 3D 图 形 设计 方面 很 难 满足 客户 的 需求 ， 这 也 使 得 传统 虚拟 化 方案 在 
制造 行业 、 数 字 内 容 创作 等 行业 遇 到 了 难以 逾越 的 瓶颈 ， 再 好 的 解决 
方案 如 果 不 能 满足 用 户 的 实际 需求 也 是 空谈 。 


网 络 负载 压力 


局 域 网 一 般 不 会 存在 太 大 的 问题 ， 但 是 如 果 通 过 互联 网 融会 出 现 
很 多 技术 难题 ， 由 于 桌面 虚拟 化 技术 的 实时 性 很 强 ， 如 何 降低 这 些 传 
输 压 力 ， 是 很 重要 的 一 环 ; 虽然 干 兆 以 太 网 对 数据 中 心 来 说 是 一 项 标 
准 ， 但 还 没有 广泛 部 署 到 桌面 ， 目 前 还 达 不 到 虚拟 化 桌面 对 高 带宽 的 
要 求 。 而 且 如 果 用 户 使 用 的 网 络 出 现 问题 ， 桌 面 虚拟 化 发 布 的 应 用 程 
序 不 能 运行 ， 则 会 直接 影响 应 用 程序 的 使 用 ， 其 对 用 户 的 影响 也 是 无 
法 估计 的 。 


安全 、 部 署 效率 和 用 户 体 验 是 移动 办 公 的 主要 挑战 


移动 办 公 的 主要 挑战 如 图 7-1 所 示 。 


挑战 1: IT 系统 需要 更 安全 的 防护 挑战 2; 公司 需要 快速 部 署 业务 


智能 设备 连接 到 企业 带 来 TOP 安 全 问题 | 


。 原 有 正 类 应 用 (B/S 架 构 ) 要 快速 无 损 地 迁移 到 移动 
平台 上 


。 原 有 C/S 类 应 用 要 快速 无 损 地 迁移 到 移动 平台 上 


。 要 支持 原 有 Office 类 文档 的 打开 ， 编 辑 操作 


窃听 / 嗅 探 B 46% 


账号 次 用 村 时 
设备 管理 混乱 3696 。 支持 跨 平台 (i0S、Android、Windows)， 
恶意 URL/ 多 多 ES 挑战 3: 使 用 IE 敏感 类 、C/S 类 及 Office 应 用 
直下 二 2 。 利于 手势 操作 体验 
DS 2 的 体验 。 移动 网 络 下 访问 体验 保障 


DDoS 攻 击 /恶意 破坏 10% 


资料 来 源 : Mocana-Mobile & Smart Device Security Survey。 


图 7-1 移动 办 公 的 主要 挑战 
云 接 入 的 关键 需求 


随 着 企业 的 发 展 ， 分 支 机 构 、 办 事 处 、 连 锁 店 等 企业 扩大 经 营造 
成 员工 分 布 广 ， 需 要 一 种 便捷 、 灵 活 和 具有 跨 地 域 性 的 办 公 方 案 ， 使 
员工 无 论 身 在 何 处 ， 都 能 实现 员工 与 员工 之 间 、 企 业 与 业务 伙伴 之 间 
的 相互 交流 和 沟通 。 各 级 政府 机 构 服 务 观念 在 不 断 提 高 ， 也 希望 通过 
移动 化 的 方式 提高 办 公 效 率 ， 降 低 管理 成 本 ， 提 升 服务 质量 。 

市 场 人 员 遍 布 全 国 各 地 ， 没 有 固定 的 办 公 场 所 ， 他 们 每 次 访问 内 
部 系统 的 终端 和 网 络 的 地 方 都 不 一 样 ， 没 有 局 域 网 环境 ， 他 们 无 法 使 
用 CRM 来 更 新 客户 信息 ， 也 无 法 利用 OA 系统 来 实现 办 公 自 动 化 。 

公司 领导 经 常 出 差 办 公 ， 在 火车 站 、 飞 机 场 等 地 方 随时 需要 查 
看 、 调 用 、 审 批 内 部 的 资料 文档 ， 并 知道 业务 进展 及 生产 线 的 进度 ， 
需要 随时 随地 都 能 访问 内 部 办 公 系 统 及 生产 管理 系统 的 解决 方案 。 

政府 工作 人 员 驻 点 调查 路 况 信息 、 各 分 局 等 的 数据 采集 等 ， 需 要 
有 一 种 方式 可 以 将 采集 到 的 重要 信息 及 时 传达 给 内 部 系统 。 


突 发 和 意外 情况 ， 能 在 事件 发 生 的 最 短 时 间 内 上 报 、 传 达 给 企业 
内 部 的 相关 人 人员， 相关 人 员 和 领导 层 能 不 受 地 点 的 限制 ， 快 速 、 及 时 
地 对 突 发 和 意外 情况 做 出 指示 和 决定 。 
随时 随地 办 公 ， 通 过 公 网 访问 企业 内 部 核心 信息 资源 ， 就 面临 着 
非法 访问 、 信 息 窃取 等 外 部 的 安全 威胁 ， 就 必须 有 相应 的 信息 安全 策 
略 ， 在 严格 防止 企业 信息 资源 被 非法 窃取 的 同时 ， 对 合法 的 访问 要 提 
供 方便 。 
移动 性 对 后 PC 时 代 的 成 功 至 关 重 要 。 在 IT 组 织 希 望 满足 终端 用 户 
对 使 用 各 种 设备 在 家 、 旅 途中 和 办 公 室 的 一 致 体验 要 求 的 同时 ，IT 基 
础 设施 必须 确保 业务 计算 环境 安全 、 易 于 管理 并 具备 持续 合 规 性 。 
云 接 入 解决 方案 既 要 能 提高 终端 用 户 的 和 目 由 ， 又 不 能 削弱 IT 系统 
控制 力 ， 它 必须 以 下 面 三 条 关键 原则 为 基础 。 
” 简化 : 将 终端 用 户 资产 (包括 操作 系统 、 应 用 和 数据 ) 从 计 
算 小 环境 转变 为 集中 式 IT 托 管 服 务 。 
” 管理 : 为 IT 创建 一 个 中 心气， 用 于 跨 公 有 云 和 私有 云 实现 终 
端 用 尸 对 IT 服务 的 访问 ， 并 能 够 控制 终端 用 户 具 有 访问 权限 
及 相应 的 安全 级 别 。 
” 连接 : 改善 终端 用 户 与 IT 服 务 及 其 他 终端 用 户 的 连接 性 ， 且 
终端 用 户 能 够 为 手 上 的 任务 自由 选择 最 合适 的 设备 和 应 用 。 


云 接 入 架构 如 图 7-2 所 示 。 


7.3 


终端 侧 接 入 侧 云 数 据 中 心 侧 


TC( 瘦 客户 端 ) 办 公 应 用 企业 应 用 
i - BS 应 
智能 手机 钦 件 色 
ushMail Web | | Saas | | 随身 
PC 机 MEAP 平 创 | 应 用 | | 应 用 | | 数据 企业 数据 库 
Pad CS 应 月 
统一 策略 管理 平台 
已 策 肯 T 客户 系统 
(分 布 式 、 
Cloud OS 
接 入 网 虚拟 化 (计算 、 办 全 人 
关 加 速 Ep 
2 7 Be 
统一 客户 端 云 接 入 协议 人 9 省 计算 网 络 人 负载 均衡 
绿色 数据 中 心机 房 


图 7-2 云 接 入 端 对 端 架构 图 
终端 侧 : 运行 各 种 终端 ， 在 任何 设备 上 随时 随地 访问 用 户 应 
用 、 桌 面 、 数 据 。 
接 入 侧 : 云 接 入 协议 ， 实 现 从 终端 到 云端 的 安全 接 入 、 加 密 
传输 、 负 载 均衡 、 流 量 控制 。 
云 数据 中 心 人 出 : 云 接 入 统一 策略 管理 ， 提 供用 户 、 应 用 、 桌 
面 、 数 据 及 策略 管理 及 分 发 ， 并 包含 后 台 资 源 和 软件 的 管理 
和 配置 。 
云 数据 中 心 人 出: 云 接 入 网 关 ， 提 供 云 接 入 安全 接 入 控制 ， 协 
议 加 速 。 
办 公 应 用 : 常用 的 办 公 应 用 如 Windows 办 公 桌 面 ， 统 一 通信 协 
作 软 件 ，Web 浏 览 
企业 后 台 应 用 : 支持 企业 日 常 业务 运行 的 后 台 应 用 ， 如 
CRM/ERP/ 数 据 库 。 


的 典型 应 


7.3.1 ”桌面 云 的 概念 和 价值 


云 接 入 的 典型 应 用 就 是 我 们 最 常见 到 的 桌面 云 。 

什么 是 桌面 云 ， 桌 面 云 的 定义 是 :“ 可 以 通过 瘦 客 户 端 或 者 其 他 任 
何 与 网 络 相连 的 设备 来 访问 跨 平台 的 应 用 程序 以 及 整个 客户 桌面 。” 也 
就 是 说 我 们 只 需要 一 个 瘦 客 户 端 设备 ， 或 者 其 他 任何 可 以 连接 网 络 的 
设备 ， 通 过 专用 程序 或 者 浏览 器 ， 就 可 以 访问 驻 留 在 服务 器 端的 个 人 
时 面 以 及 各 种 应 用 ， 并 且 用 户 体验 和 我 们 使 用 传统 的 个 人 电脑 是 一 模 
一 样 的 。 

桌面 云 的 业务 价值 很 多 ， 除 了 上 面 提 到 的 随时 随地 访问 桌面 以 
外 ， 还 有 下 面 一 些 重要 的 业务 价值 。 


集中 化 管理 


在 使 用 传统 泉 面 的 整体 成 本 中 ， 管 理 维护 成 本 在 其 整个 生命 周期 
中 占 很 大 的 一 部 分 ， 管 理 成 本 包括 操作 系统 安 闭 配置、 升级、 修复 的 
成 本 ， 硬 件 安装 配置 、 升 级 、 维 修 的 成 本 ， 数 据 恢 复 、 备 份 的 成 本 ， 
以 及 各 种 应 用 程序 安装 配置 、 升 级 、 维 修 的 成 本 。 在 传统 桌面 应 用 
中 ， 这 些 工 作 基本 上 都 需要 在 每 个 桌面 上 做 一 次 ， 工 作 量 非常 大 。 对 
于 那些 需要 频繁 替换 、 更 新 桌面 的 行业 来 说 ， 工 作 量 就 更 大 了 。 例 如 
对 于 培训 行业 来 说 ， 他 们 经 单 需要 配置 不 同 的 操作 系统 和 运行 程序 来 
满足 不 同 培训 课程 的 需要 ， 对 于 有 上 和 百 台 机 器 来 说 ， 这 个 工作 量 已 经 
非常 大 了 ， 而 且 这 种 工作 还 要 经 常 变 化 内 容 。 

在 桌面 云 解决 方案 里 ， 管 理 是 集中 化 的 ，IT 工 程 师 通过 控制 中 心 
管理 成 百 上 干 的 虚拟 桌面 ， 所 有 的 更 新 、 打 补丁 都 只 需要 更 新 一 个 “ 基 
础 镜像 ?。 对 于 上 面 所 提 到 的 培训 中 心 来 说 ， 管 理 维 护 就 非常 简单 了 : 


我 们 只 需要 根据 课程 的 不 同 配置 几 个 基础 的 镜像 ， 然 后 不 同 的 培训 课 
程 的 学 员 就 可 以 分 别 连接 到 这 些 不 同 的 基础 镜像 ， 而 且 我 们 只 需 在 这 
几 个 基础 镜像 上 进行 修改 ， 只 要 重启 虚拟 桌面 ， 学 员 就 可 以 看 到 所 有 
的 更 新 ， 这 样 束 大 大 市 约 了 管理 成 本 。 


安全 性 提高 


安全 是 IT 工作 中 一 个 非常 重要 的 方面 ， 一 方面 各 单位 对 目 己 有 安 
全 要 求 ， 另 一 方面 政府 对 安全 也 有 一 些 强制 要 求 ， 一 旦 违反 ， 后 果 非 
常 严 重 。 对 于 企业 来 说 ， 数 据 、 知 识 产 权 就 是 他 们 的 生命 ， 例 如 银行 
系统 中 的 客户 的 信用 卡 账号 ， 保 险 系统 中 的 用 户 详细 信息 ， 软 件 企业 
中 的 源 代 码 等 。 如 何 保护 这 些 机 密 数 据 不 被 外 泄 是 许多 公司 IT 部 门 经 
党 面临 的 一 个 挑战 。 为 此 他 们 采用 了 各 种 安全 措施 来 保证 数据 不 被 非 
法 使 用 ， 例 如 禁止 使 用 USB 设 备 ， 蔡 止 使 用 外 面 的 电子 邮件 等 。 对 于 
政府 部 门 来 说 ， 数 据 安全 也 是 非常 重要 的 ， 英 国 不 久 前 就 发 生 了 某 政 
府 官 员 的 笔记 本 丢失 ， 结 果 保密 文件 被 记者 得 到 ， 这 个 官员 不 得 不 引 
各 辞职 。 

在 桌面 云 解决 方案 里 ， 首 先 ， 所 有 的 数据 以 及 运算 都 在 服务 器 站 
进行 ， 客 户 端 只 显示 其 变化 的 影像 ， 所 以 在 不 需要 担心 在 客户 端 出 现 
非法 窃取 资料 行为 ， 我 们 在 电影 里 面 看 到 的 商业 间谍 拿 着 U 盘 疯狂 地 
拷贝 公司 商业 机 密 的 情况 再 也 不 会 出 现 了 。 其 次 ，IT 部 门 根据 安全 拢 
战 制作 出 各 种 各 样 的 新 规则 ， 这 些 新 规则 可 以 迅速 地 作用 于 每 个 桌 
面 。 


应 用 更 环保 


如 何 保护 我 们 的 有 限 资源 ， 怎 样 才能 消耗 更 少 的 能 源 ， 这 是 现在 
各 国 科 学 家 在 不 断 探 索 的 问题 。 因 为 在 我 们 地 球 上 的 资源 是 有 限 的 ， 
不 加 以 保护 的 话 很 快 会 陷入 无 资源 可 用 之 困境 。 现 在 全 世界 都 在 想 办 
法 减少 碳 排 放量 ， 为 之 也 采取 了 很 多 措施 ， 例 如 利用 风能 等 更 清洁 的 
能 源 等 。 但 是 传统 个 人 计算 机 的 耗 电 量 是 非常 惊人 的 ， 一 般 来 说 ， 每 
台 传 统 个 人 计算 机 的 功 耗 在 200W 左 右 ， 即 使 处 于 空 闪 状态 时 ， 耗 电量 
也 至 少 在 100W 左 右 ， 按 照 每 天 10 个 小 时 ， 每 年 240 天 工作 来 计算 ， 每 
台 计 算 机 桌面 的 耗 电 量 在 480 度 左右 ， 一 个 具有 1 万 桌面 的 中 型 企业 ， 
仅 PC 年 耗 电 量 就 会 达到 480 万 度 。 除 此 之 外 ， 为 了 冷却 这 些 计算 机 在 
使 用 中 产生 的 热量 ， 我 们 还 必须 使 用 一 定 的 空调 设备 ， 这 些 能 量 的 消 
耗 也 是 非常 大 的 。 

采用 桌面 云 解 决 方案 以 后 ， 每 个 瘦 客 户 端的 电量 消耗 在 16W 左 


右 ， 只 有 原来 传统 个 人 桌面 的 8%， 所 产生 的 热量 也 将 大 大 减少 。 


-> 


总 拥有 成 本 减少 


IT 资产 的 成 本 包括 很 多 方面 ， 初 期 购买 成 本 只 是 其 中 的 一 小 部 
其 他 还 包括 整个 生命 周期 里 的 管理 、 维 护 、 能 量 消耗 等 方面 的 成 
本 ， 硬 件 更 新 升级 的 成 本 。 从 上 面 的 撞 述 中 我 们 可 以 看 到 相 比 传统 个 
人 桌面 而 言 ， 桌 面 云 在 整个 生命 周期 里 的 管理 、 维 护 、 能 量 消耗 等 方 
面 的 成 本 大 大 降低 了 ， 那 么 硬件 成 本 又 是 怎样 的 呢 ? 桌面 云 在 初期 硬 
件 上 的 投资 是 比较 大 的 ， 因 为 我 们 要 购买 新 的 服务 器 来 运行 云 服务 ， 
但 是 由 于 传统 桌面 的 更 新 周期 是 3 年 ， 而 服务 器 的 更 新 周期 是 5 年 ， 所 
以 硬件 上 的 成 本 基本 相当 。 由 于 软 成 本 的 大 大 降低 ， 而 且 软 成 本 在 
TCO 中 占有 非常 大 的 比重 ， 所 以 采用 云 桌 面 方案 总 体 TCO 大 大 减少 


过 


-> 


了 。 根 据 Gartner 公 司 的 预计 ， 云 桌面 的 TCO 相 比 传统 桌面 可 以 减少 
40%o 


7.3.2 ”桌面 云 的 逻辑 架构 


桌面 云 解决 方案 包括 7 个 逻辑 部 分 : 云 终端 、 接 入 控制 、 桌 面 会 话 
管理 、 云 资源 管理 及 调度 、 虚 拟 化 平台 、 运 维 管理 系统 和 硬件 ， 如 图 
7-3 所 示 。 


ay 
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图 7-3 ”桌面 云 解决 方案 逻辑 图 


云 终端 是 在 远 端 用 于 访问 桌面 云 中 虚拟 桌面 的 特定 的 终端 设备 ， 
包括 瘦 终 端 、 软 终端 软件 和 各 种 手持 终端 等 。 


接 入 控制 


接 入 控制 用 于 对 终端 的 接 入 访问 进行 有 效 控制 ， 包 括 接 入 网 天 、 
防火 场 、 负 载 均 衡器 等 设备 。 接 入 控制 设备 不 是 桌面 云 解 决 万 案 所 必 


需 的 组 成 部 分 ， 可 以 根据 客户 的 实际 需求 进行 裁减 。 

桌面 会 话 管理 

桌面 会 话 管理 负责 对 虚拟 桌面 使 用 者 的 权限 进行 认证 ， 保 证 虚拟 
桌面 的 使 用 安全 ， 并 对 系统 中 所 有 虚拟 扣 面 的 会 话 进行 管理 。 

云 资源 管理 及 调度 


云 资产 管理 是 指 根 据 虚 拟 桌 面 的 要 求 ， 把 桌面 云 中 各 种 资源 分 配 
给 申请 资源 的 虚拟 桌面 ， 分 配 的 资源 包括 计算 资源 、 存 储 资源 和 网 络 
资源 等 。 

云 资源 调度 是 指 根据 桌面 云 系统 的 运行 情况 ， 把 虚拟 桌面 从 负载 
比较 高 的 物理 资源 迁移 到 负载 比较 低 的 物理 资源 上 ， 保 证 整个 系统 物 
理 资产 的 均衡 使 用 。 


虚拟 化 平台 


虚拟 化 平台 是 指 根 据 虚 拟 朱 面 对 资源 的 需求 ， 把 泉 面 云 中 各 种 物 
理 资源 虚拟 化 成 多 种 虚拟 资源 的 过 程 ， 这 些 虚 拟 资 源 可 以 供 虚 拟 梨 面 
使 用 ， 这 些 资源 包括 计算 资源 中 、 存储 资 委 源 和 网 络 资源 等 。 


硬件 


硬件 是 措 组 成 桌面 云 系统 相关 的 硬件 基础 设施 ， 包 括 服务 器 、 存 
储 设备 、 交 换 设 备 、 机 架 、 安 全 设备 、 防 火 墙 、 配 电 设 备 等 。 


运 维 管理 系统 


运 维 管理 系统 包括 桌面 云 的 业务 运营 管理 和 系统 维护 管理 两 部 
分 ， 其 中 业务 运营 管理 完成 虽 面 云 的 开户 、 销 户 等 业务 发 放 过 程 ， 系 
统 维护 管理 完成 对 昌 面 云 系 统 各 种 资产 的 操作 维护 功能 。 


现 有 IT 系统 


现 有 IT 系统 指 已 经 部 署 在 现 有 网 络 中 对 桌面 云 有 集成 需求 的 企业 
IT 系统 ， 包 括 AD (Active Directory) 、DHCP、DNS 等 。 


7.3.3 ”桌面 云 典型 应 用 场景 
1。. 办 公 桌 面 云 解 决 方案 


办 公 桌 面 云 是 指 企业 使 用 桌面 云 来 进行 正常 的 办 公 活 动 (如 处 理 
邮件 、 编 辑 文档 等 ) ， 同 时 提供 多 种 安全 方案 ， 保 证 办 公 环 境 的 信息 
安全 。 办 公 提 面 云 解 决 方案 如 图 7-4 所 示 。 


泉 面 云 支 持 与 企业 已 有 的 芽 系 统 对 接 ， 充 分 利用 已 有 的 IT 应 用 。 
比如 利用 已 有 的 AD 系统 进行 桌面 去 用户 鉴 权 ; 在 桌 面 云 上 使 用 已 有 
的 开工 作 流 ; 通过 DHCP 给 虚拟 桌面 分 配 IP 地 址 ; 通过 企业 的 DNS 来 进 
行 桌面 云 的 域名 解析 等 。 


企业 IT 应 用 
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图 7-4 ”办 公 桌 面 云 解决 方案 
优势 


” 减少 投资 ， 平 滑 过 涛 : 充分 利用 已 有 的 IT 系统 设备 与 IT 应 用 ， 
减少 重复 投资 ， 做 到 平滑 过 注 。 

” 可 靠 的 信息 安全 机 制 : 桌面 云 提供 多 种 认证 鉴 权 与 管理 机 
制 ， 保 证 办 公 环境 的 信息 安全 。 


2. 绿色 座席 解决 方案 


绿色 座席 解决 方案 如 图 7-5 所 示 。 


VoIP 或 TDM 


i 图 


座席 话机 地 绿色 座席 
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图 7-5 ”绿色 座席 解决 方案 


特点 


多 数 企业 用 户 部 署 的 呼叫 中 心 越 来 越 多 地 由 TDM 方 式 的 语音 解决 
方案 演进 到 采用 IP 语 音 解 决 方案 


优势 


” 支持 平滑 迁移 : 完善 的 呼叫 中 心平 台 和 桌面 云 的 集成 方案 ， 
平滑 迁移 客户 原 有 呼叫 中 心 。 

” 快速 应 用 ， 优 质 语音 : 提供 桌面 应 用 的 快速 响应 特点 和 优质 
的 语音 体验 。 

”成 本 优化 : 同类 应 用 的 共享 部 署 模 式 ， 大 大 节省 了 虚拟 桌面 
实例 的 资源 占用 ,方便 维护 、 升 级 。 采 用 TC 终端 蔡 代 传统 


PC， 降 低 呼 叫 中 心 的 噪音 、 电 力 消 耗 ， 为 客 尸 打造 绿色 呼叫 
中 心 。 


3. 营业 厅 解 决 方案 


企业 营业 厅 系 统 划 分 为 服务 人 员 使 用 的 梨 面 系统 、 业 务 办 理 的 客 
户 使 用 的 自助 系统 。 营 业 厅 解决 方案 如 图 7-6 所 示 。 


营业 厅 ;数据 中 心 


证 


已 有 IT 系统 


图 7-6 ”营业 厅 解 决 方案 


特点 


营业 厅 解 决 方案 针对 营业 厅 分 布地 域 广泛 、 网 络 连接 质量 差异 大 
的 特点 ， 改 进 了 桌面 云 系统 的 调度 和 连接 优化 配置 ， 可 以 有 效 地 克服 
网 络 内 断 、 网 络 速率 抖动 等 恶 少 条件， 保证 企业 营业 厅 系 统 的 高 质量 
服务 。 

营业 厅 解 决 方案 提供 即 插 即 用 的 外 设 终端 接 入 方案 ， 并 通过 预 置 
的 具备 广泛 兼容 性 的 驱动 插件 支持 常见 的 串口 、 并 口 、USB 口 外 设 ， 
极 大 地 降低 了 企业 客户 部 署 的 难度 。 

根据 企业 营业 厅 的 业务 特点 ， 其 支持 多 种 桌面 系统 认证 方式 。 对 
于 客户 自助 系统 的 桌面 ， 其 还 可 以 支持 免 认 证 登录 桌面 系统 、 即 时 打 


印 服务 清单 等 功能 。 
优势 


营业 厅 解 决 方案 是 针对 各 种 营业 厅 推 出 的 解决 方案 ， 营 业 厅 解决 
方案 具有 如 下 优点 。 

” 利 旧 原 有 IT 外 设 : 无 需 采 购 新 的 IT 外 设 ， 兼 容 单 见 接口 外 设 ， 
并 可 对 于 外 设 驱 动 统一 部 署 和 管理 ， 保 证 即 插 即 用 的 客户 体 
验 。 

” 快速 软件 安装 部 署 : 运营 软件 通过 云 平台 集中 推送 ， 做 到 大 
规模 快速 软件 安装 部 署 ， 便 于 企业 统一 新 业务 上 线 。 

” 支持 客户 目 助 系 统 : 支持 客户 目 助 系统 在 桌面 云 的 部 署 ， 可 
免 认 证 使 用 企业 为 客户 提供 的 系统 ， 可 即时 打印 服务 清单 
等 。 


4. 网 管 维护 解决 方案 


网 管 维护 解决 方案 如 图 7-7 所 示 。 


图 7-7 网管 维护 解决 方案 


特点 


桌面 云 网 管 维护 解决 方案 针对 网 络 管理 的 特点 ， 定 制 了 多 种 接 入 
终端 的 接 入 程序 ， 方 便 随 时 随地 地 接 入 进行 网 络 状态 分 析 与 网 络 故障 
定位 ， 对 于 重大 问题 ， 充 分 发 挥 企业 网 管 专家 的 经 验 优势 。 

桌面 云 网 管 维护 解决 方案 集成 多 种 网 管 适 配 解决 方案 ， 无 需 既 有 
网 管 系 统 进行 改造 ， 即 可 实现 统一 管理 。 


优势 


网 管 维护 解决 方案 是 针对 各 类 网 管 推出 的 解决 方案 ， 网 管 维护 解 
决 具 有 如 下 优点 。 
” 无 缝 接 入 : 支持 各 种 接 入 终端 ， 包 括 多 种 手持 终端 (Android 


类 、 Windows Mobile 类 ，iPhone OS 类 ，iPad OS 类 ， 


Embedded Linux 类 终端 ) ， 可 以 实现 无 缝 地 、 随 时 随地 地 接 
入 以 及 远程 维护 和 监控 ， 有 利于 企业 发 挥 维护 专家 的 优势 。 

”广泛 支持 多 种 类 型 的 网 管 系统 : 支持 远程 维护 非 CCS、B/S 架 
构 的 网 管 系统 ， 使 用 近 端 观测 程序 ， 极 大 地 减少 现场 维护 需 
求 。 

> 整合 零散 的 网 管 系 统 : 企业 现 有 网 管 系统 无 需 改 造 ， 通 过 桌 
面 云 系统 即 可 以 实现 网 络 的 全 集中 管理 ， 提 高 网 管 维护 效 


7.3.4 ”移动 办 公 的 概念 和 价值 
移动 办 公 是 云 接 入 的 另 一 种 常见 的 典型 应 用 。 
移动 办 公 与 移动 办 公 系 统 


移动 办 公 也 称 移动 OA， 是 指 利用 手机 、PDA 或 笔记 本 电脑 等 移动 
终端 通过 无 线 网 实现 移动 办 公 的 移动 信息 化 手段 ， 移 动 办 公 软 件 是 实 
现 移 动 办 公 的 软件 应 用 系统 ， 它 使 得 移动 办 公 人 员 摆 脱 时 间 和 场所 局 
限 ， 随 时 进行 随身 化 的 信息 管理 和 沟通 ， 从 而 有 效 提 高 管理 效率 ， 推 
动 政府 和 企业 效益 增长 。 

移动 办 公 是 当今 高 速 发 展 的 通信 业 与 开业 交融 的 产物 ， 它 将 通信 
业 在 沟通 上 的 便捷 、 在 用 户 上 的 规模 ， 与 1T 业 在 软件 应 用 上 的 成 熟 、 
在 业务 内 容 上 的 丰富 ， 完 美 结合 到 了 一 起 ， 使 之 成 为 继 电 脑 无 纸 化 办 
公 、 互 联网 远程 化 办 公 之 后 的 新 一 代办 公 模 式 。 这 种 最 新 潮 的 办 公 模 
式 ， 通 过 在 手机 、Pad 上 安装 企业 信息 化 软件 ， 使 得 手机 、Pad 也 具备 
了 和 电脑 一 样 的 办 公 功 能 ， 而 且 它 还 摆脱 了 必须 在 固定 场所 固定 设备 


上 进行 办 公 的 限制 ， 对 企业 管理 者 和 商务 人 十 提供 了 极 大 的 便利 ， 为 
企业 和 政府 的 信息 化 建设 提供 了 全 新 的 思路 和 方向 。 它 不 仅 使 得 办 公 
变 得 随心 、 轻 松 ， 而 且 借 助手 机 通信 的 便利 性 ， 使 得 使 用 者 无 论 身 处 
何 种 紧急 情况 下 ， 都 能 高 效 、 迅 捷 地 开展 工作 ， 对 于 突 发 性 事件 的 处 
理 、 应 急性 事件 的 部 署 有 极为 重要 的 意义 。 

移动 办 公 系 统 ， 是 一 套 建 立 以 手机 等 便携 终端 为 载体 实现 的 移动 
言 息 化 系统 ， 系 统 将 智能 手机 、 无 线 网 络 、OA 系 统 三 者 有 机 结合 ， 实 
现 与 任何 办 公 地 点 和 办 公 时 间 的 无 缝 接 入 ， 提 高 了 办 公 效 率 。 它 可 以 
连接 客户 原 有 的 各 种 IT 系 统 ， 包 括 OA、 邮 件 、ERP 以 及 其 他 各 类 个 性 
业务 系统 ， 可 通过 手机 操作 、 浏 览 、 管 理 公司 的 全 部 工作 事务 ， 同 时 
提供 一 些 无 线 环境 下 的 新 功能 。 其 设计 目标 是 帮助 用 户 摆脱 时 间 和 空 
间 的 限制 ， 随 时 、 随 地 、 随 意 地 处 理工 作 ， 提 高 效率 、 增 强 协作 。 


移动 办 公 的 意义 


移动 办 公 是 一 种 新 型 的 低 碳 办 公 模 式 ， 能 为 企业 和 社会 节约 资 
源 ， 减 少 废气 排放 。 

移动 办 公 是 一 种 无 纸 化 低 碳 办 公 模 式 。 移 动 办 公 系 统 通常 能 支持 
pdf、jpg、doc、xls 等 文件 格式 ， 这 些 文件 格式 基本 覆盖 了 大 多 数 企 业 
内 的 文件 审批 格式 。 现 在 ， 领 导 使 用 手机 等 移动 终端 即 可 打开 各 种 待 
审核 和 待 审批 公文 ， 远 程 进 行 批复 。 业 务 人 员 在 与 客户 会 谈 前 总 是 需 
要 先 打印 出 各 种 准备 资料 ， 而 在 使 用 装 有 移动 办 公 系 统 的 手机 端 之 
后 ， 只 需 在 会 谈 期 间 根据 需要 随时 进入 公司 系统 进行 查阅 ， 同 时 运用 
PPMEET 等 相关 视频 会 议 软 件 进 行 会 议 的 召开 。 


移动 办 公 是 一 种 电能 消耗 极 少 的 低 磋 办 公 模 式 。 与 大 约 每 小 时 消 
耗 0.2~0.3 度 电 的 PC 相 比 ， 手 机 消耗 的 电量 几乎 可 以 忽略 不 计 。 企 业 
是 电能 消耗 大 尸 ， 对 于 移动 办 公 任 务 较 多 的 企业 来 说 ， 通 过 移动 办 公 
每 月 可 节约 的 电量 将 是 一 个 不 小 的 数字 ， 同 时 可 为 社会 节约 电力 资 
产 。 

移动 办 公 大 大 减少 了 用 户 在 交通 工具 所 需 的 汽 柴 油 等 燃料 方面 的 
消耗 ， 同 时 减少 含有 大 量 二 氧化 碳 气 体 的 尾气 排放 。 这 是 一 种 典型 的 
污染 物 排放 少 的 低 碳 办 公 方 式 。 业 务 型 员工 和 领导 移动 办 公 任 务 重 ， 
在 外 忙碌 了 一 天 之 后 往往 还 需要 返回 公司 ， 人 处 理 一 些 收尾 的 工作 ， 例 
如 将 业务 信息 录入 系统 ， 碍 询 最 新 的 通知 公告 等 。 现 在 ， 移 动 办 公 系 
统 省 去 了 用 户 返回 公司 的 必要 ， 大 大 减少 了 乘坐 交通 工具 所 需 的 燃料 
方面 的 消耗 。 

如 今 ， 移 动 办 公 已 经 不 仅 是 一 种 节约 能 产 、 减 少 二 氧化 兢 污 染 的 
低 碳 办 公 模 式 ， 还 是 提高 员工 办 公 效 率 、 提 高 企业 综合 竞争 力 、 提 升 


公众 形象 的 一 种 手段 。 
7.3.5 ”移动 办 公 的 逻辑 架构 
主流 解决 方案 : 原生 应 用 与 远程 应 用 


图 7-8 对 比 了 两 种 主流 的 移动 办 公 解 决 方案 ， 我 们 可 以 从 中 看 
出 ， 远 程 应 用 在 安全 、 维 护 成 本 、 上 线 周期 等 方面 具有 明显 优势 ， 在 
离线 使 用 、 移 动 办 公 体 验方 面 稍 显 进 色 。 由 此 可 见 ， 远 程 应 用 模式 的 
移动 办 公 更 加 适用 于 高 安全 要 求 、 快 速 迁 移 等 场景 。 
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解决 方案 类 型 安全 运 维 成 本 ”移动 化 成 本 (上 线 周期 ”可 离线 。 “移动 办 公 体 验 应 用 场景 
远程 应 用 非常 高 低 低 雪 中 1. 高 安全 : 本 地 无 数据 ， 网 络 上 传输 
(SBC) 的 只 是 客户 端的 键盘 、 鼠 标 动 作 以 及 
显示 界面 的 刷新 部 分 ; 


2. 快速 无 损 部 署 移动 应 用 


原生 应 用 中 


二 
型 
三 
豆 


1. 操作 体验 要 求 高 ; 
2. 满足 网 络 条 件 差 的 场景 


图 7-8 主流 移动 办 公 方案 对 比 
图 7-9 为 移动 办 公 方 案 全 景 图 ， 图 中 应 用 虚拟 化 〈SBC) 被 公认 
为 移动 办 公 最 佳 解决 方案 之 一 。 
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图 7-9 ”移动 办 公 方 案 全 景 图 


移动 办 公 和 解决 方案 (远程 应 用 模式 SBC) 


图 7-10 ”为 SBC 移 动 办 公 解 决 方案 ， 同 企业 用 户 提 供 一 个 应 用 与 
数据 集中 管理 与 发 布 平台 ， 管 理 员 用 户 可 以 分 别 通 过 管理 员 Portal 进 行 


应 用 管理 、 数 据 管理 、 用 户 管 理 、 服 务 管理 。 同 时 ， 集 成 两 或 企业 IT 
部 门 可 以 通过 开放 API 进 行 二 次 开发 。 
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图 7-10 “移动 办 公 应 用 集成 平台 


7.3.6 ”移动 办 公 和 解决 方案 的 特点 


移动 办 公 解 决 方案 具有 的 特点 如 下 所 示 。 
端 到 端 数据 安全 防护 ， 使 企业 更 聚集 于 业务 发 展 


”文档 在 线 编 辑 ， 无 法 保存 到 客户 端 本 地 ， 若 操作 超时 ， 则 会 
锁 屏 。 

” 链 路 层 端 到 端 加 密 ， 保 障 传输 安全 。 

> 机 

” 企业 资源 访问 控制 。 

> i 

” 应 用 进程 间隔 离 。 

” 应 用 层 软 件 网 关 。 


一 键 式 安装 部 署 


” 无 人 值守 安装 ， 深 度 定 制 Linux， 界 面 友好 ， 多 节点 复 用 统一 
镜像 。 

” 配置 简单 ， 目 动 时 间 同 步 ， 支 持 远程 配置 、 远 程 定 位 。 

” 移动 应 用 快速 上 线 ， 后 台 无 需 修改 。 

” 移动 应 用 快速 升级 ， 客 户 端 无 需 升级 。 


出 众 的 用 户 体验 


” 定制 化 的 快捷 工具 栏 。 

” 拍照 插入 文档 。 
”触摸 可 编辑 放大 镜 。 

” 自动 弹出 键盘 、 自 动 滚屏 。 
” 分 区 域 滚屏 。 

” 便捷 的 任务 管理 。 


资源 调度 最 优化 


” 网 天 负载 均衡 。 
” 应 用 服务 器 负载 均衡 。 


通过 广域网 加 速 技术 ， 提 升 应 用 访问 速度 


”TCP 协 议 优化 。 

” 实时 流 压缩 。 

” 绘图 指令 重 定 向 。 
” 数据 缓存 。 


~ 云 模式 + 广域网 加 速 技术 大 幅 提升 应 用 访问 速度 。 
7.4 云 的 
7.4.1 ”桌面 云 协议 简介 


在 目前 云 接 入 领域 的 关键 技术 主要 是 桌面 云 的 接 入 协议 技术 ， 目 
前 业界 知名 的 有 微软 的 RDP 协 议 、 思 杰 的 ICA、 红 帽 的 Spice 协 议 、 华 
为 HDP 协 议 (我 们 指 的 接 入 协议 关键 技术 并 非 仅 指 通 信 协 议 本 身 ， 还 
包含 协议 服务 器 端的 实现 与 客户 端的 实现 ) 。 桌 面 协议 包括 具体 的 远 
程 显示 、 远 程控 制 、 远 程 音频 、 远 程 外 设 等 关键 技术 ， 而 这 些 技术 的 
实现 具有 很 大 的 难度 ， 所 以 我 们 认为 桌面 云 协议 是 云 接 入 最 为 关键 的 
技术 。 


7.4.2 ”桌面 云 协议 关键 技术 : 高 效 远程 显示 


从 表面 上 来 看 ， 提 面 云 高 效 远 程 显 示 为 一 个 较为 简单 的 技术 ， 通 
过 操作 系统 接口 来 抓 取 屏幕 内 容 ， 再 经 过 一 定 的 压缩 处 理 即 可 在 客户 
端 显示 服务 器 端的 屏幕 内 容 。 例 如 我 们 常用 的 VNC (Virtual Network 
Computing) 就 属于 这 一 类 型 的 实现 ，VNC 也 具有 一 些 手 段 降 低 带 宽 ， 
但 是 我 们 发 现 ， 如 果 与 Citrix ICA、Microsoft RDP 进 行 比较 ，VNC 在 带 
宽 方 面 的 劣势 非常 明显 。 

这 些 高 性 能 的 昌 面 云 协议 中 屏幕 显示 基于 什么 原理 ? 他 们 的 实现 
有 什么 不 同 ? 事实 上 他 们 在 实现 的 架构 上 比较 类 似 ， 都 是 基于 普通 计 
算 机 的 显示 原理 。 

注 : 由 于 目前 果 面 云 主 要 应 用 的 操作 系统 基本 都 是 微软 的 
Windows 操 作 系 统 ， 本 文 将 直接 描述 Windows 平 台 的 实现 〈 见 图 7- 


休 ) 

我 们 需要 远程 看 到 显示 的 内 容 ， 就 好 像 将 机 器 的 显示 器 拉 到 远 端 
一 样 。 从 图 7-12 中 我 们 可 以 看 到 操作 系统 的 软件 层次 通过 操作 系统 ， 
可 以 完全 获取 到 显示 内 容 以 及 和 硬件 交互 的 为 “Windows 显 示 驱 动 程 
序 ”。 如 果 将 “Windows 显 示 驱 动 程序 ”发 往 显卡 的 数据 传输 至 远程 瘦 终 
端的 显卡 上 ， 即 可 以 达到 远程 显示 的 效果 。 


Windows 图 形 子 系 统 


Windows 图 形 驱 动 交 互 接口 


图 7-11 计算 机 屏幕 显示 原理 


虚拟 机 Windows 操 作 系 统 远 端 客户 机 
图 形 应 用 程序 1 图 形 应 用 程序 2 图 形 应 用 程序 n 
0 | - 桌面 云 接 入 客户 端 
Windows GDI 图 形 接口 /Direct X 图 形 接口 /OpenGL 图 形 接 不 地 图形 接口 
Windows 图 形 子 系统 本 地 显示 驱动 
Windows 图 形 驱 动 交 互 接口 本 地 显卡 
桌面 云 虚 拟 显示 驱动 
计算 机 显示 器 


图 7-12 ”桌面 云 内 容 在 远 端 客户 端 显示 的 原理 
目前 ， 业 界 的 实现 通常 会 为 运行 在 虚拟 化 平台 中 的 虚拟 机 安装 一 
个 远程 虚拟 显示 驱动 ， 通 过 虚拟 显示 驱动 来 高 性 能 地 获取 显示 的 图 形 
指令 数据 ， 并 将 这 些 数 据 传 送 到 远程 客户 机 进行 显示 。 
通常 应 用 程序 会 通过 Windows 平 台 提供 接口 来 绘图 ， 这 些 图 形 接 
口 调用 会 通过 Windows 图 形 子 系统 的 转换 来 调用 到 虚拟 显示 驱动 中 
(这 些 图 形 接口 调用 我 们 暂且 称 为 图 形 指令 ) ， 图 形 指令 内 部 的 参数 
首 述 了 图 形 程序 的 具体 显示 ， 这 些 数据 可 以 被 传输 到 远程 客户 端 进行 


重新 绘制 显示 。 
这 里 有 两 个 问题 。 


为 什么 不 使 用 Windows 平 台 的 接口 来 直接 获取 整个 屏幕 数据 ， 压 
缩 后 传输 到 客户 端 进行 显示 ， 而 是 要 实现 一 个 难度 更 高 、 更 复杂 的 虚 
拟 显示 驱动 来 获取 图 形 指令 来 进行 处 理 ? 

通常 情况 下 ， 显 卡 与 计算 机 上 的 接口 为 PCIE，PCIE 的 带宽 非常 之 
高 ，16X 的 显卡 可 以 拥有 16GB/s 巨 大 带宽 ， 而 我 们 客户 端的 网 卡 一 般 
就 100MBPS~1000MBPS， 实 际 带 宽 更 少 ， 如 果 远 程 客户 机 与 服务 器 
端的 距离 较 远 的 话 ， 平 均 每 用 户 的 带宽 可 能 不 到 1MBPS， 这 样 的 网 络 
情况 与 原始 的 显卡 PCIE 差 距 很 大 ， 人 怎样 实现 远程 显示 ? 


这 两 个 问题 的 答案 会 在 下 面 进 行 解 答 。 
(1) 2D 基 本 图 形 显示 桌面 
大 多 数 的 图 形 应 用 程序 都 是 2D 基 本 图 形 显 示 程 序 ， 如 Word、 
Excel、Outlook、Notepad、 杀 毒 软件 等 ， 通 常 我 们 普通 办 公 场 景 下 的 
程序 都 为 2D 图 形 程序 。 所 以 目前 桌面 云 主要 的 场景 为 2D 显 示 场 景 ， 如 
果 显 示 驱 动 仅仅 支持 2D 显 示 ， 遵 从 微软 的 显示 驱动 架构 ， 可 以 实现 微 
软 定 义 的 XPDM (Windows XP display driver model) 显示 驱动 来 满足 
需要 。 
XPDM 架 构 是 微软 为 Windows Vista 之 前 的 Windows 版 本 定义 的 显 
示 驱 动 (Vista、WIN7 可 兼容 ) ， 目 前 在 桌面 云 场景 下 协议 服务 器 端 一 
般 也 会 实现 一 个 XPDM 了 驱动， 即 图 中 显示 驱动 与 视频 微型 端口 驱动 两 
部 分 ， 该 驱动 并 非 用 来 驱动 本 地 显卡 ， 而 是 获取 Windows 图 形 引 擎 向 
显卡 发 送 的 图 形 指令 数据 ， 并 传输 到 客户 端 进行 重新 泻 染 显示 。 通 常 
在 桌面 协议 里 面 我 们 仅 用 XPDM 驱 动 方 式 来 支持 2D 应 用 ， 对 于 需要 3D 
加 速 的 应 用 无 能 为 力 〈 可 以 用 软件 实现 的 3D 泻 染 来 辅助 支持 3D 应 用 ， 
但 是 性 能 有 限 ) 。 服 务 器 端 获 取 的 这 些 图 形 指 令 需 要 的 数据 量 非常 
大 ，100M 网 卡 是 不 够 的 ， 所 以 需要 加 入 许多 优化 的 处 理 ， 通 常 的 优化 
手段 具体 如 下 。 
” 图 像 数据 压缩 : 利用 各 种 图 像 压缩 算法 对 图 像 内 容 进 行 有 损 
或 者 无 损 的 压缩 来 降低 带宽 。 
” 指令 合并 : 图 形 指令 的 数量 有 时 候 会 非常 之 多 ， 通 过 合并 技 
术 可 以 显著 降低 指令 数量 与 总 体 数 据 量 。 
” 缓存 : 通过 缓存 技术 减少 服务 器 与 客户 端 之 间 的 元 余数 据 交 
互 。 


当然 实际 厂商 的 技术 可 能 会 有 不 同 ， 且 优化 手段 更 多 ， 通 过 这 些 
类 型 的 优化 手段 ， 可 以 将 网 络 带 宽 降 低 百 倍 甚至 更 多 。 

(2) 高 性 能 图 形 支持 

高 性 能 图 形 指 的 是 需要 显卡 辅助 来 支持 的 程序 ， 通 常 是 DirectX 或 
net 
量 部 署 高 性 能 图 形 的 能 力 ， 主 要 原因 是 桌面 云 的 部 署 还 处 在 初始 阶 
段 ， 企 业 未 大 量 更 新 到 桌面 云 ， 高 性 能 图 形 的 桌面 云 虚拟 机 成 本 也 更 
高 ， 导 致 桌面 云 总 体 的 技术 研发 投入 有 限 ， 在 普通 办 公 场 景 下 的 技术 
基本 成 熟 ， 但 是 高 性 能 图 形 方 面 的 高 级 技术 还 有 待 进一步 发 展 ， 最 近 
各 厂商 加 大 了 研发 投入 ， 如 VMware 的 vSGA (Virtual Shared Graphics 
Acceleration) 、Citrix 的 OpenGL 加 速 组 件 、NVidia 的 VGX 等 GPU 虚 拟 
化 技术 都 已 经 推出 。 当 然 目 前 在 高 性 能 图 形 方面 ， 直 通 方 式 更 加 通 
用 ， 拥 有 更 好 的 兼容 性 与 性 能 ， 但 是 成 本 较 高 。 

GPU 直 通 实 现 方式 一 般 如 图 7-13 所 示 。 


虚拟 机 


桌面 协议 服务 器 
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图 形 应 用 程序 1 | 图 形 应 用 程序 2 


Windows GDI 图 形 接口 /Direct XX 图 形 接口 /OpenGL 图 形 接口 
Windows 图 形 子 系统 


Windows 图 形 驱 动 交 互 接口 | 


| 厂商 显示 驱动 | 
IE 
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虚拟 化 平台 | 
显 上 EF | 


图 7-13 ”GPU 直通 实现 原理 


通过 虚拟 化 平台 的 直通 技术 可 以 将 显卡 直接 给 虚拟 机 使 用 ， 与 物 
理 机 接 入 显卡 的 效果 基本 一 致 ， 在 虚拟 机 上 只 要 安装 了 对 应 显卡 的 显 
示 驱 动 ， 显 卡 就 可 以 为 这 个 虚拟 机 提供 高 性 能 图 形 的 能 力 。 桌 面 云 服 
务 器 端 程序 将 捕获 桌面 图 像 数 据 ， 来 支持 远程 客户 端的 显示 。 这 个 方 
式 的 桌面 图 像 处 理 方 式 与 前 面 介 绍 的 2D 昌 面 处 理 方式 有 些 不 同 ， 有 具体 
细 市 不 进行 介绍 。 

简单 来 说 ，GPU 虚 拟 化 /共享 能 够 将 一 个 物理 存在 的 显卡 分 享 给 多 
个 虚拟 机 使 用 ， 每 个 虚拟 机 将 获得 高 性 能 图 形 处 理 的 能 力 。 

前 面 简 单 地 介绍 了 一 下 2D 朱 面 支持 时 经 常 使 用 XPDM 方 式 显示 驱 
动 染 构 来 实现 朱 面 云图 像 的 处 理 ， 但 是 实际 上 微软 在 Windows Vista 以 
后 采用 了 新 的 显示 驱动 架构 WDDM (Windows Display Driver 
Model) ， 如 图 7-14 所 示 。 
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图 7-14 Windows Vista、Win7 显 示 架 构 
WDDM 显 示 驱 动 架 构 有 三 部 分 ， 为 DirectX 服 务 的 用 户 态 模式 驱 
动 、 为 OpenGL 接 口服 务 的 OpenGL ICD 驱 动 (由 于 微软 主推 DirectX 接 


- 
| Win32K.sys 
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视频 


口 ，OpenGL 只 是 可 选 组 件 ) 以 及 Display Miniport Driver (工作 在 内 核 
态 负责 与 硬件 交互 ) 。 

如 果 需 要 支持 GPU 虚 拟 化 技术 ， 通 常 需要 实现 一 个 虚拟 的 WDDM 
显示 驱动 ， 来 获取 Windows 对 显示 驱动 产生 的 接口 调用 数据 ， 并 将 这 
些 接口 调用 重 定向 到 一 个 GPU 共 对 组 件 上 来 进行 处 理 ， 该 GPU 共 享 组 
件 一 般 会 存在 于 虚拟 化 平台 内 部 (也 有 可 能 是 存在 于 其 他 处 ) 。 人 处理 
后 将 得 到 泻 染 后 的 朱 面 图 像 数 据 ， 这 些 数 据 将 被 泉 面 服务 器 端 通过 处 
理发 送 给 客户 端 ， 可 能 是 直接 将 图 像 编码 为 H.264 码 流 ， 也 可 能 是 其 他 
图 像 编 码 方式 〈 见 图 7-15) 。 

为 什么 不 采用 与 2D 图 形 处 理 方 式 一 致 的 图 形 指令 重 定向 方式 将 图 
形 指令 重 定向 到 客户 端 进行 泻 染 显示 ， 仅 在 客户 疹 安 半 一 个 相对 低 性 

能 的 显卡 ? 因为 2D 图 形 指令 进行 一 系列 的 优化 处 理 ， 带 宽 可 以 呈 100 
倍 以 上 地 降低 ， 仅 仅 1MBPS 以 内 的 带宽 即 可 以 满足 普通 办 公 的 场景 需 
求 ， 但 是 采用 3D 应 用 去 支持 则 难度 很 大 ， 目 前 还 没有 技术 可 以 将 3D 图 
形 指令 重 定向 带宽 降低 到 如 此 低 的 程度 。 
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图 7-15 ”GPU 技术 
7.4.3 ”桌面 云 协 议 关 键 技术 : 低 资源 消耗 的 多 媒体 视频 


多 媒体 视频 播放 器 对 桌面 云 来 说 是 一 个 挑战 ， 如 用 户 体验 、 吾 视 
频 同 步 、 带 宽 等 。 目 前 在 桌面 云 支持 多 媒体 视频 一 般 有 两 种 方式 ， 一 
种 是 将 服务 器 端的 多 媒体 视频 播放 器 的 图 像 进行 重新 视频 编码 ， 将 视 
频 编码 传输 到 客户 端 进行 解码 显示 ; 另外 一 种 为 视频 重 定向 方式 ， 一 
般 通过 捕获 播放 器 需要 播放 的 视频 编码 流 ， 直 接 将 视频 编码 流 发 送 到 
客户 端 进 行 解 码 显 示 。 很 明显 ， 第 二 种 视频 重 定向 方式 看 上 去 效率 更 
高 ， 服 务 器 少 了 视频 解码 与 重新 编码 的 资源 消耗 ， 但 是 实际 上 这 种 方 
式 非常 受 限 ， 无 法 得 到 广泛 的 支持 〈 见 图 7-16) 。 

第 一 种 方式 由 于 在 昌 面 虚拟 机 中 的 播放 器 将 视频 进行 了 解码 ， 这 
里 会 有 较 大 的 解码 CPU 资产 消耗 ， 在 对 视频 区 域 进行 编码 时 消耗 更 
大 ， EA ee a 度 。 另 外 ， 对 视 
频 区 域 的 识别 也 是 一 个 重要 的 技术 点 ， 通 单 会 通过 识别 刷新 频率 超过 
一 定 帧 率 的 图 像 变更 区 域 来 识别 。 

第 二 种 方式 由 于 仅仅 在 服务 器 端 截获 竺 解码 的 视频 码 流 并 传输 到 
客户 端 进行 解码 显示 ， 对 服务 器 端的 开销 较 小 ， 目 前 比较 流行 的 扩 术 
为 针对 MediaPlayer 支 持 的 多 媒体 重 定 向 技术 。 但 是 该 技术 在 国内 的 实 
用 性 并 不 高 ， 毕 竟 国 内 很 少 使 用 MediaPlayer 播 放 多 媒体 文件 ， 所 以 第 
二 种 方式 实际 比较 受 限 。 当 然 技 术 也 在 发 展 ， 对 其 他 播放 器 能 够 支持 
的 多 媒体 重 定向 技术 相信 后 续 也 会 出 现 ， 这 将 降低 对 服务 器 端的 资源 
消耗 。 


播放 器 播放 视频 文件 播放 器 播放 视频 文件 
解码 视频 文件 


分 析 桌 面 中 的 视频 区 域 传输 到 客户 端 


sz 
对 视频 区 域 进行 视频 编码 解码 视频 区 域 


传输 到 客户 端 解码 视频 区 域 
< 
让 |X 


解码 视频 区 域 


> 


解码 视频 区 域 


图 7-16 ”服务 器 端 解码 视频 播放 〈 左 ) 与 多 媒体 重 定向 ( 右 ) 原理 


7.4.4 ”桌面 云 协议 关键 技术 : 低 时 延 音 频 


桌面 云 协议 对 音频 的 支持 与 前 面 介 绍 的 2D 图 形 支持 实现 比较 类 似 
( 见 图 7-17) 。 
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， ”桌面 云 客户 端 ; 解 
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图 7-17 桌面 云 音频 输入 输出 实现 原理 

通常 桌面 协议 服务 器 端 可 以 在 虚拟 机 里 面 实现 一 个 音频 驱动 ， 音 
频 驱 动 会 与 Windows 的 音频 子 系统 (音频 引擎 ) 进行 交互 。 在 放 音 阶 
及 ， 吾 频 驱 动 将 收 到 Windows 吾 频 子 系统 发 送 过 来 的 音频 数据 ， 经 过 
压缩 处 理 后 传输 到 昌 面 云 客 户 端 ， 客 尸 端 进行 解码 并 进行 放 悍 。 在 录 
音阶 段 ， 客 户 端 将 获取 客户 端 本 地 的 录音 数据 ， 并 将 数据 进行 压缩 后 
传输 到 服务 器 端 ， 服 务 器 端 进行 解码 后 由 音频 驱动 返回 给 Windows 音 
频 子 系统 。 由 于 音频 对 延 时 非常 敏感 ， 整 个 过 程 要 关注 对 延 时 的 控 
制 。 


7.4.5 “桌面 云 协 议 关 键 技术 : 兼容 多 种 外 设 


在 通用 的 系统 上 ， 常 用 的 外 设 种 类 有 USB 外 设 、 并 口外 设 、 串 口 
外 设 等 ， 目 前 来 看 USB 外 设 占 据 主流 ， 解 决 USB 外 设 的 支持 即 可 满足 
目前 最 为 流行 的 外 设 硬件 支持 。 

实现 该 部 分 关键 技术 需要 先 认 识 目 前 传统 USB 外 设 工作 的 原理 
( 见 图 7-18) 。 
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图 7-18 USB 实 现 原理 示意 图 

从 图 7-19 可 以 了 解 到 ， 所 有 USB 外 设 的 正常 工作 在 软件 层面 依赖 
的 是 USB 总 线 驱 动 。 一 个 应 用 需要 使 用 USB 外 设 必须 与 USB 设 备 驱 动 
进行 交互 ， 而 设备 驱动 的 工作 完全 依赖 USB 总 线 驱 动 来 交互 USB 设 备 
数据 ， te pie 从 我 们 的 理解 来 
看 ， 从 USB 总 线 驱 动 入 手 是 软件 层 适 的 方式 ， 将 USB 总 线 驱 动 
与 本 地 硬件 的 交互 远程 化 ， ae 客户 机 
USB 硬 件 总 线 的 交互 ( 见 图 7-19) 。 
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图 7-19 ”桌面 云 USB 外 设 支持 原理 

通过 在 虚拟 机 内 部 实现 虚拟 USB 总 线 驱 动 可 以 与 客户 端的 硬件 设 
备 进行 通信 交互 ， 交 互 也 不 是 直接 的 通信 ， 而 需要 在 客户 端 上 开发 一 
个 虚拟 USB 设 备 驱 动 ， 通 过 虚拟 化 USB 设 备 驱 动 与 客户 机 的 USB 总 线 
驱动 进行 交互 。 当 有 一 个 设备 插入 时 ， 客 户 机 的 USB 总 线 会 发 现 一 个 
新 设备 插入 ， 此 时 将 启动 一 份 虚拟 化 USB 设 备 驱 动 的 实例 ， 如 果 有 多 
个 设备 需要 同时 被 重 定向 时 ， 需 要 多 份 虚拟 USB 设 备 驱 动 实 例 运 行 在 
客户 端 上 。 而 设备 对 应 的 真实 USB 设 备 驱 动 安 装 并 运行 在 虚拟 机 中 ， 
与 虚拟 机 USB 总 线 驱动 进行 交互 ， 这 样 对 虚拟 机 中 的 USB 设 备 驱 动 来 
说 并 没有 太 大 感知 ， 对 应 用 程序 也 没有 太 大 感知 ， 原 因 是 ， 远 程 的 这 
种 数据 交互 会 带 来 延 时 ， 有 些 设备 驱动 在 设计 的 时 候 考 虑 了 一 些 超时 
的 处 理 。 

这 种 方式 表面 上 来 说 能 够 很 好 地 支持 各 种 USB 外 设 ， 但 是 实际 上 
来 说 也 有 可 能 存在 一 些 问题 ， 一 是 很 难 非常 好 地 做 到 对 设备 的 兼容 ， 
二 是 一 些 设备 重 定向 后 带宽 非常 之 大 而 无 法 被 使 用 ， 所 以 一 些 设备 无 
法 正常 地 使 用 USB 总 线 方式 来 实现 设备 的 重 定向 ， 比 如 摄像 头 ， 如 果 
走 总 线 重 定向 的 方式 ， 带 宽 有 数 十 兆 ， 甚 至 更 多 ， 这 基本 无 法 实际 部 
署 。 针 对 这 一 类 型 的 设备 ， 一 般 会 单独 为 它 优化 来 使 其 可 以 满足 实际 
商用 。 如 针对 摄像 头 ， 我 们 可 以 采用 如 下 方式 实现 优化 ， 如 图 7-20 所 
小 o 
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图 7-20 ”摄像 头 外 设 支持 原理 

我 们 可 以 在 客户 端 通 过 应 用 程序 级 别 的 接口 来 获取 摄像 头 的 数据 
(一 般 为 位 图 数据 或 者 YUV 数 据 ) ， 再 将 数据 通过 视频 压缩 算法 (如 
H.264) 进行 压缩 处 理 ， 发 送 到 服务 器 端 ， 服 务 器 端 解 码 摄像 头 视频 数 
据 后 通过 虚拟 摄像 头 提供 给 应 用 程序 使 用 。 有 了 视频 压缩 技术 支持 ， 
这 种 基于 摄像 头 的 重 定 向 技术 比 基 于 USB 总 线 的 重 定向 技术 带宽 下 降 
数 十 倍 。 除 了 摄像 头 类 型 的 设备 ， 其 他 类 型 的 设备 也 有 可 能 进行 特定 
的 重 定 向 处 理 ， 这 取决 于 单独 实现 针对 这 类 型 设备 重 定向 的 价值 。 


7.4.6 ”桌面 云 协议 总 结 与 其 他 实现 


前 面 介绍 了 桌面 云 协议 的 一 些 重要 的 关键 技术 实现 ， 这 些 技术 主 
要 运行 于 虚拟 机 内 部 ， 包 括 显示 (2D、3D、 多 媒体 ) 、 音 频 、USB 外 
设 、 键 鼠 ， 除 了 这 些 还 存在 其 他 的 一 些 关键 技术 ， 另 外 目前 桌面 云 的 
技术 也 在 发 展 ， 肯 定 会 推出 新 的 技术 ( 见 图 7-21) 。 
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图 7-21 通常 桌面 云 技术 实现 原理 示意 图 

目前 的 关键 技术 实现 都 是 运行 于 虚拟 机 内 部 的 ， 也 就 是 说 这 些 技 
术 与 虚拟 化 平台 没有 关系 ， 通 常 桌 面 云 协 议 服务 器 羡 也 可 以 安装 于 物 
理 机 器 上 (例如 RDP 就 可 以 远程 连接 虚拟 机 或 者 物理 机 ) 。 这 个 实现 
染 构 有 与 虚拟 化 平台 或 者 硬件 平台 无 关 的 优势 ， 但 是 它 也 有 和 缺点 ， 如 
整体 实现 完全 需要 基于 操作 系统 来 实现 ， 支 持 Windows 的 实现 与 支持 
Linux 的 实现 将 存在 很 大 的 不 同 。 当 然 目 前 Windows 是 绝对 主流 ， 所 以 
各 桌面 云 商 业 厂 商 主要 都 在 支持 Windows 操 作 系 统 。 红 帆 的 Spice 采 用 
了 另外 一 套 实现 架构 ， 这 种 实现 架构 能 够 做 到 绝 大 部 分 与 操作 系统 无 
关 ， 也 就 是 说 它 可 以 更 好 地 支持 多 种 操作 系统 ( 见 图 7-22) 。 

Spice 的 架构 中 大 部 分 的 实现 都 在 虚拟 化 层 ， 而 不 是 在 虚拟 机 中 ， 
所 以 Spice 提 供 了 对 Linux 桌 面 云 的 支持 。 为 什么 Spice 在 虚拟 机 中 还 提 
供 了 一 个 虚拟 显示 驱动 ? 原因 是 如 果 不 提供 显示 驱动 ， 它 的 性 能 会 很 
差 ， 就 好 像 如 果 你 有 一 台电 脑 安 儿 了 显卡 ， 但 是 不 安 闭 显 卡 对 应 的 驱 
动 ， 实 际 上 无 法 使 用 这 个 显卡 ， 同 样 如 果 没 有 显示 驱动 的 加 速 Spice 虚 
拟 显 卡 ， 仅 仅 工 作 在 VGA 的 模式 下 ， 则 无 法 获取 上 文中 提 到 的 图 形 指 
令 ， 无 法 高 性 能 地 处 理 重 定向 图 形 显 示 。 当 然 Spice 的 架构 还 有 其 他 独 


- 


特 的 优势 ， 由 于 工作 在 虚拟 硬件 上 ， 不 同 于 操作 系统 内 部 ， 它 还 可 以 
不 依赖 虚拟 机 内 部 的 网 络 与 客户 端 进行 通信 ， 这 样 可 以 防止 很 多 用 户 
自己 对 网 络 进行 更 改 ， 造 成 桌面 云 主 机 无 法 使 用 的 情况 ， 它 还 可 以 在 
开机 启动 过 程 中 看 到 整个 系统 启动 的 过 程 (虚拟 机 内 部 的 桌面 协议 要 
等 待 操作 系统 启动 后 才能 连接 ) ， 这 些 都 是 Spice 的 优势 。 当 然 Spice 的 
方式 也 有 一 些 明 显 的 缺点 ， 它 和 KVM 虚 拟 化 平台 强 绑 定 ， 目 前 官方 无 
法 支持 其 他 虚拟 化 平台 ， 无 法 支持 物理 主机 接 入 ， 由 于 它 的 主要 实现 
实体 在 虚拟 硬件 层 ， 一 些 针 对 Windows 的 桌面 协议 优化 无 法 支持 (或 
者 支持 付出 的 代价 更 大 ) ， 如 多 媒体 重 定向 、 摄 像 头 重 定向 等 ， 也 无 
法 像 RDP 一 样 可 以 支持 Windows Server 操 作 系 统 多 用 户 的 接 入 。 两 种 实 
现 方 式 各 有 优 缺 点 ， 目 前 来 看 主流 实现 以 基于 Windows 操 作 系统 层 实 
现 的 桌面 协议 为 主 。 


虚拟 机 


Windows Windows Windows 
应 用 程序 应 用 程序 应 用 程序 
虚拟 显示 
加 速 驱 动 


虚拟 显卡 设备 ss 虚拟 串口 设备 


虚拟 音频 设备 || 虚拟 键 鼠 设备 


Spice 桌 面 协议 服务 器 端 桌面 云 客户 端 


虚拟 硬件 


图 7-22 ”Spice 实 现 原理 示意 图 
无 论 是 基于 Windows 操 作 系 统 层 实现 各 种 驱动 ， 还 是 基于 Spice 在 
虚拟 硬件 层次 实现 各 种 虚拟 硬件 ， 其 实 都 是 希望 在 底层 将 原本 属于 本 
地 的 交互 转换 为 远程 的 交互 ， 而 屏幕 显示 的 效果 与 本 地 交互 相同 。 这 


种 转换 涉及 显示 重 定向 -用 户 视 觉 、 音 频 重 定向 -用 户 听 觉 、 键 鼠 重 定 
向 -用 户 触觉 、 外 设 重 定向 -各 种 外 设 使 用 ， 目 的 是 利用 一 个 简单 的 桌面 
云 终端 替代 PC 物理 机 为 用 尸 服 务 ， 并 且 需 要 非常 高 的 用 户 体验 ， 包 括 
用 户 操作 延 时 、 桌 面 云 显 示 质 量 、 视 频 质 量 与 流畅 度 、 音 频 延 时 与 质 
量 、 传 输 带宽 大 小 等 。 整 个 桌面 云 的 实现 技术 涉及 类 别 非常 多 ， 包 括 
各 种 虚拟 驱动 /虚拟 硬件 显示、 音频 、 键 电 、USB) 、 各 种 图 形 算 
法 、 吾 频 算法 、 视 频 算 法 、 带 宽 优 化 、 数 据 去 重 等 ， 所 以 桌面 云 协议 
的 技术 难度 较 大 、 门 槛 较 高 ， 可 提供 商用 解决 方案 的 也 仅仅 几 家 公 
司 。 


7.5 云 的 
7.5.1 云 接 入 的 未 来 发 展 
如 图 7-23 所 示 ， 云 接 入 未 来 在 云端 提供 各 种 桌面 、 应 用 、 数 据 ， 
统一 空间 : 
~ 各 种 设备 无 缝 接 入 ; 


” 跨 平 台 提 供 一 致 的 用 户 体 验 ; 
” 企业 应 用 商店 及 统一 门户 ， 聚 合 各 种 “应 用 + 数据 + 桌面 ”。 


TC 


PHONE 
图 7-23 云 接 入 未 来 发 展 


平台 开放 化 


作为 基础 平台 ， 封 闭 染 构 带 来 不 兼容 性 ， 无 法 支持 异 构 虚 拟 机 系 
统 ， 也 难以 支撑 开放 合作 的 产业 链 需 求 。 随 着 云 计算 时 代 的 来 临 ， 桌 
面 虚拟 化 管理 平台 逐步 走向 开放 平台 染 构 ， 多 种 厂家 的 虚拟 机 可 以 在 
开放 的 平台 架构 下 共存 ， 不 同 的 应 用 厂商 可 以 基于 开放 平台 染 构 不 断 
地 丰 申 云 应 用 。 


连接 协议 标准 化 


桌面 虚拟 化 连接 协议 目前 有 VMware 的 PCoIP、 Citrix 的 ICA、 微 软 
的 RDP、NComputing 的 UXP 等 。 多 种 连接 协议 在 公有 桌面 云 情况 下 ， 
将 带 来 终端 兼容 性 的 复杂 化 ， 终 端 将 需要 支持 多 种 虚拟 化 客户 端 软 
件 ， 对 于 许 入 式 的 云 终端 来 说 ， 限 制 了 客户 采购 的 选择 性 和 蔡 代 性 。 


未 来 梨 面 连接 协议 标准 化 之 后 ， 将 解决 终端 和 云 平 台 之 间 的 广泛 
兼容 性 ， 形 成 民 性 的 产业 链 结构 。 


虚拟 化 客户 端 硬件 化 


当前 的 桌面 虚拟 化 和 应 用 虚拟 化 技术 对 于 富 媒 体 的 客户 体验 和 传 
统 的 PC 终端 相 比 还 是 有 一 定 的 差距 的 ， 主 要 原因 是 对 于 2D/3D/ 视 
频 /Flash 等 富 媒 体 缺 少 硬件 辅助 虚拟 化 支持 。 

随 着 虚拟 化 技术 越 来 越 成 熟 及 广泛 应 用 ， 终 端 心 片 将 可 能 逐步 加 
强 对 于 虚拟 化 的 支持 ， 从 而 通过 硬件 辅助 处 理 来 提升 富 媒 体 的 用 户 体 
验 。 特 别 是 对 于 PAD、 智 能 手机 等 移动 终端 设备 ， 如 果 对 虚拟 化 指令 
有 和 较 好 的 硬件 辅助 支持 ， 将 促进 虚拟 化 技术 在 移动 终端 的 落地 。 


7.5.2 VDI 


据 IDC 预 测 ， 桌 面 云 这 个 市 场 的 潜力 是 非常 大 的 。 随 着 人 们 对 桌 
面 虚拟 化 好 处 认 知 的 提高 ， 以 及 对 桌面 虚拟 化 的 需求 的 提出 ， 相 关 技 
术 的 不 断 完 善 ， 桌 面 虚拟 化 必 将 普及 。 虽 然 面临 的 问题 很 多 ， 但 并 不 
是 说 桌面 虚拟 化 将 融 此 止步 ， 还 没有 哪 种 技术 是 不 存在 潜在 缺陷 甚至 
陷阱 的 。 当 人 们 有 这 个 桌面 云 需求 时 ， 一 切 问题 都 不 再 成 为 问题 。 现 
在 人 们 对 虚拟 化 已 经 有 了 需求 ， 而 且 这 个 需求 是 不 断 深 化 的 ， 目 前 已 
经 有 不 少 企业 部 署 了 VDI。 有 了 需求 就 有 了 市 场 ， 需 求 能 促进 技术 的 
进步 ， 桌 面 虚 拟 化 的 普及 仅仅 是 一 个 时 间 问 题 。 桌 面 云 的 前 景 是 非常 
乐观 的 。 


存储 的 技术 发 展 ， 可 以 降低 整体 成 本 


若 VDI 要 保持 1: 1 的 磁盘 镜像 比例 ， 会 让 传统 服务 器 存储 的 成 本 
高 昂 得 让 人 止步 。 这 也 是 为 什么 VDI 部 署 关 注 非 持 续 性 的 “共享 ”镜像 ， 
以 及 为 什么 VDI 采 用 仍然 处 于 边缘 地 带 。 现 在 ， 很 多 厂商 都 提供 块 级 
别 、 单 个 实例 主 存储 。 使 用 重复 数据 删除 技术 可 以 大 大 节约 整体 成 
本 。 举 个 例子 ，5000 个 虚拟 桌面 镜像 ， 完 整 复制 40G 大 小 加 上 一 个 2GB 
的 交换 空间 总 共 需 要 210TB 的 存储 容量 。 应 用 存储 数据 删除 技术 ， 它 
被 压缩 到 小 于 4TB， 一 个 4TB IO 外 载 引擎 可 以 支持 5000 个 桌面 。 这 意 
味 着 现在 可 以 创建 拥有 上 百 个 用 户 的 VDI 环 境 ， 每 个 用 户 有 一 个 专门 
的 磁盘 镜像 ， 而 只 需要 以 前 购买 一 个 共享 镜像 系统 的 价格 。 


图 形 性 能 领域 的 技术 发 展 ， 用 户 应 用 体验 达到 PC 的 水 平 


另 一 个 重要 的 突破 是 图 形 性 能 领域 。 多 个 供应 商 现在 为 远程 VDI 
主机 服务 器 提供 插入 式 GPU 卡 ， 可 以 实现 卸载 进程 ， 并 对 远程 协议 显 
示 数 据 流 进行 编码 与 压缩 。 为 服务 器 添加 GPU 卡 意味 着 可 以 将 所 有 的 
处 理 能 力 贡 献 给 图 形体 验 ， 无 需 加 重 现 有 CPU 压力 而 牺牲 用 户 体验 。 
这 些 插 卡 也 允许 GPU 虚拟 化 ， 这 将 让 诸如 3D CAD、Photoshop 与 视频 
编辑 应 用 能 够 通过 VDI 进 行 访问 。 


VDI: 在 你 身边 的 桌面 


这 些 存储 与 图 形 功能 的 改进 意味 着 虚拟 桌面 基础 架构 现在 的 使 用 
范围 比 之 前 大 得 多 。 这 能 从 部 署 客 户 部 署 桌面 的 数量 (拥有 1 万 个 以 
上 ) 看 出 来 。 

首先 说 明 ， 笔 者 不 是 建议 桌面 的 未 来 就 是 VDI， 或 者 所 有 的 
Windows 朱 面 应 该 迁移 到 VDI。 在 过 去 几 年 里 ， 我 们 可 能 看 见 VDI 在 企 


业 桌 面 里 的 市 份额 只 有 59% 天 10%。 现 在 VDI 可 以 支持 1: 1 持久 的 磁盘 
映像 和 图 形 密 集 应 用 ，VDI 将 在 企业 桌面 中 占据 40% 居 50% 的 份额 。 


7.5.3 Daas 


DaaS 是 什么 ? 其 指 将 Windows 桌 面 和 应 用 以 云 服务 的 形式 向 用 户 
交付 。 它 具有 如 下 特性 ， 如 表 7-1 所 示 。 
表 7-1 DaaS 特 性 


特性 说 明 
高 可 用 性 ”| 7x24 的 服务 保障 
可 移动 性 ”| 用 户 可 以 通过 互联 网 随时 随地 接 入 桌面 和 数据 


定时 数据 备份 集中 管理 IT 架 构 保证 企业 数据 安全 重要 


UE 


数据 零 丢失 保证 
灵活 升 
pe 无 需 考虑 软件 升级 新 用 户 扩容 短 时 间 完 成 


IT 费用 节 ”| IT 预 算 可 预期 无 软 硬 件 投资 费用 SP 提供 专业 服务 和 支 
省 持 


人 T 服 务 商 部 署 DaaS 的 主要 驱动 力 为 以 下 几 点 : 
> 巨大 的 潜在 市 场 ， 提 供 差异 化 服务 ， 新 的 盈利 点 ; 
> 增强 用 户 粘性 ; 


~ 带动 其 他 服务 (备份 / 防 病毒 /企业 应 用 托管 /文件 存储 /数据 迁 
移 ) ; 

” 现 有 的 PC 外 包 市 场 大 约 300 亿 美元 (数据 来 源 : Gartner) 。 

为 什么 需要 DaaS? 

” 更 佳 的 桌面 体验 


= 不同 的 设备 ， 一 样 的 桌面 体验 。 
= 无需 天 机 ， 随 时 随地 进入 工作 状态 。 
= 统一 部 署 和 升级 应 用 软件 ， 更 快捷 。 


” 简单 易 用 的 虚拟 桌面 


" 自助 申请 ， 自 动 部 署 。 
a 在 线 支 付 ， 立即 可 用 。 
" 专业 级 的 运营 服务 。 


” 投资 可 以 预期 


" 初始 投资 成 本 低 : 按 需 申 请 ， 用 完 即 退 。 
运 维 成 本 低 : 无 需 自 己 运 维 。 
终端 成 本 低 : TC 更 换 周期 长 ， 故 障 率 低 。 


” 数据 集中 管控 更 安全 


数据 集中 管控 ， 接 入 终端 无 保密 数据 。 
企业 租户 安全 隔离 ， 确 保 网 络 安全 。 
高 效 快捷 的 外 设 管 控 策 略 和 审计 机 制 |。 


DaaS 的 典型 场景 


托管 (hosting) 模式 ， 适 用 于 政府 、 园 区 。 
瘟 合 云 模式 ， 适 用 于 大 型 企业 /垂直 行业 。 
公有 云 服 务 模式 ， 适 用 于 中 小 企业 /分 支 机 构 。 


7.5.4 ”移动 办 公 


伴随 着 智能 设备 以 及 3G、4G 网 络 的 莹 勃发 展 ， 企 业 移动 办 公 方 式 
向 3A (Anyone Anywhere through Any Network Use Any Device to Do 
Anything) 发 展 的 趋势 已 经 十 分 明显 ， 大 量 企业 纷纷 升级 全 基础 设 
置 ， 提 升 办 公 效 率 。 各 种 技术 方案 层出不穷 ， 各 领 风 骚 。 

据 某 公司 提供 的 一 项 调查 报告 显示 ， 预 计 到 2020 年 ， 全 球 89% 的 
企业 都 将 采用 移动 办 公 的 工作 方式 ， 而 目前 有 249% 的 受 访 者 表示 已 经 
全 面部 署 了 移动 办 公 ， 另 有 38% 将 扩大 移动 办 公 的 部 署 规模 ， 还 有 219%6 
的 受 访 者 表示 预计 在 未 来 两 年 内 实现 移动 办 公 。 这 也 就 意味 着 移动 办 
公 市 场 将 从 2012 年 的 24% 迅 猛 上 升 到 2014 年 的 83%6， 年 复合 增长 率 高 达 
86%o 

据 这 份 报告 显示 ， 北 美 地 区 的 移动 办 公 市 场 较 为 领先 ，90% 的 企 
业 表 示 已 经 部 署 或 正在 扩大 部 署 移动 办 公 解 决 方案 ， 紧 随 其 后 的 是 中 
国 (85%) ， 之 后 则 是 巴西 、 印 度 、 英 国 、 法 国 和 德国 ， 其 百分比 都 
超过 了 70%。 

这 些 数 据 显示 移动 互联 网 时 代 的 到 来 。 移 动 办 公 为 何 受 到 这 么 多 
国家 或 地 区 用 户 的 青睐 呢 ? 此 报告 也 罗列 了 原因 ，73% 的 受 调查 者 表 
示 移 动 办 公 方 式 能 够 使 工作 方式 更 加 灵活 ， 并 有 53% 的 受 调查 者 认为 
这 让 出 差 或 者 旅游 更 加 方便 ，48% 的 受 访 者 表示 能 够 降低 办 公 场 所 的 


费用 。 吸 引 (47%) 和 留 住 (44%) 人 才 也 是 企业 部 署 移 动 办 公 解 决 方 
案 的 驱动 因素 之 一 。 

移动 办 公 一 直 被 认为 是 最 理想 的 工作 方式 ， 对 企业 对 员工 能 够 提 
供 诸多 方便 : 第 一 ， 移 动 办 公 能 够 提供 比较 弹性 的 办 公 环 境 ; 第 二 ， 
能 够 降低 企业 员工 的 出 行 、 生 活 成 本 ; 第 三 ， 能 降低 企业 办 公 场 所 成 
本 ; 第 四 ， 还 能 吸引 更 多 、 更 好 的 人 才 。 过 去 人 们 常 说 的 一 句 话 一 一 
21 世 纪 最 缺 的 是 什么 ? 人才。 如 果 企 业 实 现 了 移动 办 公 ， 在 员工 不 方 
便 到 办 公 室 上 班 的 时 候 可 以 允许 员工 在 家 移动 办 公 ， 既 保证 了 业务 的 
连续 性 ， 又 能 提供 人 文 关 怀 ， 这 样 的 公司 谁 不 想 留 下 呢 ? 

那么 ， 移 动 办 公 什 么 时 候 才 能 实现 呢 ? 某 公 司 授权 一 家 市 场 调查 
公司 独立 做 了 一 项 针对 移动 办 公 未 来 趋势 影响 的 调研 ， 涉 及 19 个 国 
家 、2000 名 IT 高 管 。 根 据 这 项 移动 办 公 调 查 报告 显示 ， 移 动 办 公 已 经 
成 为 全 球 企 业 办 公 的 重要 趋势 ， 调 查 中 大 约 24% 的 企业 已 经 部 署 移动 
办 公 方 案 ，21% 的 企业 计划 在 两 年 内 部 署 移动 办 公 方 案 ， 预 计 到 2014 
年 ， 将 有 86% 的 企业 实现 移动 办 公 。 预 计 到 2020 年 ， 全 球 企业 办 公 空 
间 将 减少 17%， 中 国企 业 的 办 公 空 间 将 减少 21%。 预 计 每 10 人 平均 需要 
7 张 办 公 桌 ， 在 新 加 坡 、 和 荷兰 、 美 国 、 英 国平 均 需 要 6 张 办 公 桌 ， 而 在 
中 国 ， 这 个 数字 是 7.69。 

通过 被 访 者 对 可 能 会 进行 移动 办 公 的 地 点 的 回答 ， 可 以 一 舌 未 来 
工作 场所 的 特点 。 在 被 访 者 回答 中 ，95% 的 中 国企 业 用 户 会 选择 在 本 
地 办 公 室 接 入 移动 办 公平 台 ， 亚 太 地 区 平均 数据 为 73%; 90% 的 中 国企 
业 用 户 会 选择 从 家 里 接 入 移动 办 公平 台 ， 亚 太 地 区 平均 数据 为 6296; 
84% 的 中 国企 业 用 户 会 选择 从 公司 的 项 目 所 在 地 或 其 他 现场 接 入 移动 
办 公平 台 ， 亚 太 地 区 平均 数据 为 64%; 81% 的 中 国企 业 用 户 会 选择 从 客 
户 、 伙 伴 、 供 应 商 那 里 或 活动 现场 接 入 移动 办 公平 台 ， 亚 太 地 区 平均 


数据 为 53%; 48% 的 中 国企 业 用 户 会 选择 从 咖啡 厅 、 和 餐厅 、 图 书馆 以 及 
类 似 公 共 区 域 接 入 移动 办 公平 台 ， 亚 太 地 区 平均 数据 则 为 30%; 其 余 
地 点 还 包括 在 各 种 交通 工具 上 。 如 此 看 来 ， 移 动 办 公使 得 办 公 并 不 限 
于 办 公 室 或 者 家 中 ， 而 是 真正 实现 了 随时 随地 办 公 。 

在 调查 中 ， 中 国企 业 用 户 对 于 移动 办 公 的 热情 远 高 于 其 他 国家 和 
地 区 ， 考 虑 到 中 国 地 缘 广 大 、 东 西部 发 展 速 度 不 均衡 ， 在 沿海 地 区 和 
一 、 二 级 城市 的 企业 用 户 的 移动 办 公 水 平 相当 乐观 。44% 的 中 国 被 访 
企业 表示 有 专门 的 团队 进行 移动 办 公 解 决 方案 的 开发 和 管理 ，28% 的 
企业 表示 将 在 2012 年 底 之 前 成 立 这 样 的 团队 。 之 所 以 引入 移动 办 公 ， 
其 主要 驱动 力 是 来 自 员 工 的 主动 要 求 。 而 在 中 国 ，IT 高 管 表示 第 一 驱 
动力 是 因为 终端 设备 种 类 繁多 ， 其 次 是 出 于 安全 和 风险 控制 的 考虑 。 
调查 显示 ， 全 球 人 均 拥 有 6 人 台 不 同 的 计算 设备 ， 而 在 中 国 ， 这 一 数字 为 
3.06 台 。 


第 8 章 ” 云 管理 与 自动 化 的 关键 技 
术 染 构 与 应 用 


从 云 计算 的 功能 来 看 ， 云 管理 面向 虚拟 基础 设施 的 资源 自动 化 发 
放 和 一 体 化 的 运 维 管理 ， 可 以 被 部 署 到 一 个 自助 服务 、 自 动 化 的 公有 
云 或 私有 云 操 作 环 境 中 。 其 主要 功能 包括 服务 门户 、 服 务 目 录 、 权 限 
管理 、 容 量 管理 、IT 资 源 管理 〈 支 持 异 构 ) 、 性 能 管理 、 配 置 变更 管 
理 、 生 命 周 期 管理 ， 并 且 通 过 自动 化 引擎 编排 成 一 个 完整 的 资源 供给 
管理 系统 。 

随 着 企业 的 规模 发 展 ， 企 业 IT 系 统 从 小 规模 走向 大 规模 ， 从 单一 
资源 池 向 多 资源 池 扩充 ， 所 以 云 管理 平台 除了 解决 多 资源 池 容 量 上 的 
管理 问题 ， 还 需要 管理 不 同 的 硬件 设备 和 虚拟 化 资源 。 

在 企业 内 部 ， 系 统管 理 员 给 不 同 的 组 织 管理 员 开 放 租 户 界 面 ， 借 
助 云 管理 平台 ， 业 务 人 员 直 接 在 租户 界面 完成 业务 的 申请 和 发 放 。 这 
种 模式 可 以 让 企业 提供 IT 企业 的 出 租 业 务 。 

云 管理 系统 通过 开放 API， 与 企业 IT 管理 平台 或 运营 系统 对 接 ， 被 
集成 到 企业 IT 系统 。 

随 着 企业 的 规模 不 断 扩 大 ， 企 业 不 同 组 织 对 IT 资源 会 有 差异 化 诉 
求 ， 怎 么 将 虚拟 化 组 织 化 、 差 异化 ， 将 资源 灵活 分 配给 各 组 织 ? 请 看 
如 图 8-1 所 示 的 云 管理 的 业务 模型 。 


RN 
i 


图 8-1 云 管理 平台 业务 视图 

云 管理 平台 对 不 同 的 设备 和 虚拟 化 资源 进行 整合 管理 ， 上 层 业 务 
感知 不 到 物理 设备 的 更 换 和 升级 以 及 虚拟 化 平台 的 切换 。 云 管理 平台 
提供 维护 统一 入 口 ， 可 以 提升 运 维 效率 。 通过 为 每 个 部 门 分 配 独立 的 
虚拟 数据 中 心 ， 使 各 部 门 之 间 的 云 资源 相互 独立 ， 使 用 时 互 不 感知 。 

云 管理 的 主要 特点 包括 以 下 几 操 。 
” 多 资源 池 管理 : 企业 从 小 规模 走向 大 规模 ， 需 要 云 管理 提供 
给 管理 员 统 一 的 资源 闻 管 理 平台 ， 运 行 在 资源 闻 之 上 的 企业 
应 用 感觉 不 到 下 层 资源 池 中 硬件 和 虚拟 化 软件 的 差异 ， 下 层 
硬件 设备 的 更 换 升 级 亦 对 用 户 和 业务 零 感知 ; 虚拟 化 和 物理 
服务 器 统一 管理 平台 兼容 业界 主流 的 虚拟 化 产品 和 操作 系 
统 ， 兼 容 客户 现 有 IT 资源 ; 提供 基于 资源 池 的 统一 编排 和 调 


度 ; 可 实现 设备 目 动 发 现 ， 资 产 快 速 发 放 ， 缩 短 业 务 上 线 时 
间 和 维护 效率 。 

” 从 企业 内 部 应 用 走向 多 租户 的 应 用 : 软件 定义 数据 中 心 ， 网 
络 隔 离 ， 通 过 组 织 管理 ， 不 同 部 门 可 以 独立 使 用 云 资源 ， 共 
享 虚 拟 化 资源 ， 同 时 网 络 资源 安全 隔离 ， 支 持 分 权 分 域 。 

” 应 用 弹性 伸缩 : 简易 的 应 用 模板 设计 工具 ， 给 各 租户 共享 应 
用 模板 ， 把 业务 上 线 时 间 缩 短 到 半天 ， 实 现 应 用 实例 快速 音 
署 。 支 持 应 用 根据 资源 负 和 葵 弹 性 伸缩 ， 提 高 设备 利用 率 。 

>” 从 封闭 走向 开放 : 提供 丰富 的 二 次 开发 接口 ， 通 过 应 用 定 
制 ， 其 他 外 围 系统 可 通过 二 次 开发 包 方便 地 调用 平台 云 计算 
资产 ， 与 平台 软 硬 件 设备 实时 交互 ， 实 现 丰 曲 的 系统 集成 功 
能 ， 如 与 高 性 能 计算 业务 、 程 序 设计 系统 等 SaaS 应 用 的 便捷 
融合 。 通 过 面向 下 层 的 标准 化 接口 ( 南 向 插件 机 制 ) ， 可 以 
快速 将 新 的 硬件 设备 和 虚拟 化 软件 纳入 云 计算 资源 闻 ， 灵 活 
满足 企业 需求 。 


随 着 IT 技 术 的 飞速 发 展 ， 设 备 更 新 周期 越 来 越 短 ， 服 务 器 的 处 理 
能 力 每 年 都 会 增长 50% 以 上 。 在 传统 的 数据 中 心 ，IT 部 门 需 要 维护 大 
量 的 服务 器 、 存 储 、 网 络 设备 ， 同 时 也 要 维护 应 用 软件 ， 在 应 用 软件 
升级 、 新 业务 开通 时 ， 经 常 看 到 IT 运 维 人 员 通 宵 达 旦 地 设计 业务 。 

降低 维护 成 本 ， 降 低 人 力 成 本 ,缩短 业务 开发 周期 ， 是 IT 运 维 人 
员 考 虑 的 重要 问题 ， 也 是 云 计算 资产 池 管 理 平台 优先 解决 的 问题 。 


自动 化 的 发 展 ， 使 云 计 算 在 不 到 十 年 的 时 间 普 及 到 普通 企业 。 云 
管理 业务 管理 中 ， 将 计算 、 存 储 、 网 络 作为 资源 配额 给 企业 不 同 的 组 
织 部 门 ， 各 部 门 根 据 业 务 需 要 ， 在 组 织 中 发 布 自 己 的 应 用 。 自 动 化 服 
务 除了 提供 网 络 、 设 备 的 自动 化 部 署 ， 也 需要 按 需 使 用 ， 自 动 调度 ， 
动态 伸缩 。 


8.1.1 ”自动 化 部 署 


自动 化 部 署 包 括 软 件 安 装 、 补 丁 管理 、 自 动 化 报表 和 健康 检查 、 
自动 扩 减 容 等 。 


软件 安装 


除了 管理 软件 本 身 的 产品 安装 ， 重 点 是 服务 器 操作 系统 及 驱动 、 
虚拟 化 操作 系统 和 应 用 软件 的 安装 。 云 管理 软件 能 够 实现 从 应 用 到 服 
务 器 的 垂直 目 动 化 部 署 。 对 于 数据 库 场景 ， 云 管理 软件 也 能 够 支持 服 
务 器 的 裸 机 管理 ， 实 现 自动 管理 和 手动 部 署 结合 的 应 用 场景 。 


补丁 管理 


对 管理 软件 本 身 ， 其 可 实现 补丁 的 目 动 化 部 署 不 会 影响 业务 ;) 对 
应 用 软件 ， 其 可 做 到 应 用 软件 的 自动 化 推送 和 更 新 ， 提 供 灵活 的 软件 
执行 策略 给 业务 管理 员 执 行 ， 可 以 结合 场景 在 晚上 定时 执行 、 立 即 执 
行 、 手 动 执 行 等 。 


自动 化 报表 


管理 员 自 定义 报表 内 容 ， 定 期 自动 导出 各 类 资源 的 占用 和 消耗 情 
况 ， 供 运 维 和 人员 对 数据 中 心 扩 容 做 参考 。 


健康 检查 


自动 收集 软 硬 件 信 息 并 生成 报表 ， 同 时 对 不 同 资源 的 健康 状态 汇 


总 ， 通 知 管理 员 。 
自动 扩 减 容 
在 服务 器 资源 扩容 后 ， 能 够 自动 发 现 设备 并 扩容 集群 。 
8.1.2 ”动态 调度 


云 计 算 系 统 中 有 很 多 主动 管理 的 功能 ， 大 部 分 都 是 管理 员 感 知 不 
到 的 ， 如 虚拟 机 死机 检测 、 休 眠 检测 、 虚 拟 网 络 的 被 攻击 检测 、 管 理 
系统 本 身 的 故障 检测 持 ， 这 里 仅 列 出 管理 员 常 用 的 主动 管理 功能 ， 并 
进行 说 明 。 


虚拟 机 HA 


虚拟 机 HA (High Availability) 机 制 ， 可 提升 虚拟 机 的 可 用 度 ， 人 允 
许 虚拟 机 出 现 故 障 后 能 够 重新 在 资源 池 中 自动 启动 虚拟 机 。 

在 已 经 创建 的 集群 中 ， 如 果 高 级 设置 中 的 HA 功能 已 经 启用 ， 那 么 
用 户 在 该 集群 中 创建 虚拟 机 时 ， 可 以 选择 是 否 支持 故障 重启 ， 即 是 否 
支持 HA 功能 。 


当 物 理 服 务 器 宕 机 等 引起 虚拟 机 故障 时 ， 系 统 可 以 将 虚拟 机 迁移 
到 其 他 物理 服务 器 重新 启动 ， 保 证 虚拟 机 能 够 快速 恢复 。 目 前 系统 能 
够 检测 到 的 引起 虚拟 机 故障 的 原因 包括 物理 硬件 故障 、 系 统 软 件 故 
障 。 

重新 启动 的 虚拟 机 ， 会 像 物理 机 一 样 重新 开始 5 引导， 加 载 操作 系 
统 ， 所 以 之 前 发 生 故 障 时 没有 保存 到 硬盘 上 的 内 容 将 丢失 。 

对 于 未 启用 HA 功能 的 虚拟 机 ， 当 发 生 故 障 后 ， 此 虚拟 机 会 处 于 停 
机 状态 ， 用 户 需 要 目 行 操作 来 启动 这 全 虚拟 机 。 


虚拟 机 DRS 

se (DRS) 采用 智能 调度 算法 ， 根 据 系统 的 负载 情 
况 ， 对 资源 智能 调度 ， 达 到 系统 的 负载 均衡 ， 保 证 系统 民 好 的 用 
户 体 验 。 


动态 资源 调度 策略 针对 集群 (Cluster) 设置 ， 可 以 设置 调度 阔 
值 、 定 义 策略 生效 的 时 间 段 。 在 策略 生效 的 时 间 段 内 ， 如 果 某 主机 的 
CPU、 内 存 负 和 载 阅 值 超过 调度 阅 值 ， 系 统 就 会 自动 迁移 一 部 分 虚拟 机 
到 其 他 CPU、 内 人 存 负载 低 的 主机 中 ， 保 证 主机 的 CPU、 内 人 存 负载 处 于 
均衡 状态 。 


虚拟 机 QoS 


客户 可 以 目 定义 必须 在 同一 主机 上 运行 或 必须 分 主机 运行 的 虚拟 
机 ， 或 者 限定 某 些 虚拟 机 只 能 在 部 分 主机 范围 内 运行 和 迁移 。 

虚拟 机 QoS 功能 实现 了 可 衡量 的 计算 能 力 ， 用 来 保证 虚拟 机 的 计 
算 能 力 在 一 定 沁 围 内 隔离 了 虚拟 机 间 由 于 业务 变化 而 导致 的 计算 能 


的 相互 影响 ， 满 足 了 不 同业 务虚 拟 机 的 计算 性 能 要 求 ， 同 时 可 以 更 好 
地 控制 计算 资源 ， 最 大 程度 地 复 用 资产， 降低 成 本 ， 提 高 用 户 满意 
度 。 

虚拟 机 QoS 主要 体现 在 CPU QoS 和 内 存 QoS。 

> CPU QoS 

虚拟 机 的 CPU QoS 用 于 保证 虚拟 机 的 计算 资源 分 配 ， 隔 离 虚 拟 机 
间 由 于 业务 不 同 而 导致 的 计算 能 力 相 互 影 响 ， 满 足 不 同业 务 对 虚拟 机 
计算 性 能 的 要 求 ， 最 大 程度 地 复 用 资源 ， 降 低 成 本 。 

创建 虚拟 机 时 ， 可 根据 虚拟 机 预期 部 署 业务 对 CPU 的 性 能 要 求 而 
指定 相应 的 CPU QoS。 不 同 的 CPU QoS 代 表 了 虚拟 机 不 同 的 计算 能 
力 。 指 定 CPU QoS 的 虚拟 机 ， 系 统 对 其 CPU 的 QoS 保障 主要 体现 在 计 
算 能 力 的 最 低 保 障 和 资源 分 配 的 优先 级 。 

” 内 存 QoS 

内 存 QoS 提 供 虚 拟 机 内 存 智 能 复 用 功能 。 通 过 内 存 气 泡 占 用 等 内 
存 复 用 技术 将 物理 内 存 虚 拟 出 更 多 的 虚拟 内 存 供 虚 拟 机 使 用 ， 每 个 虚 
er ye ott a al a meri 

， 提 高 资源 利用 率 ， 且 保证 虚拟 机 运行 时 至 少 可 以 获取 到 预 留 大 小 
ee 

系统 管理 员 可 根据 用 户 实际 需求 设置 虚拟 机 内 存 预 留 。 内 存 复 用 
的 主要 原则 是 优先 使 用 物理 内 存 。 


应 用 自动 扩 缩 


系统 按照 用 户 预 先 设 定 的 应 用 资源 变更 荣 略 ， 自 动 调配 伸缩 组 内 
的 计算 市 点 数量 ， 随 应 用 负载 的 变化 而 变化 。 


弹性 伸缩 是 使 用 云 计 算 的 核心 收益 之 一 ， 可 以 实现 计算 资源 与 业 
务 负载 之 间 的 动态 匹配 ， 不 仅 可 以 更 好 地 支撑 业务 的 可 用 性 、 改 善 用 
户 体 验 ， 也 能 最 大 限度 地 提升 资源 的 使 用 效率 ， 有 效 避 人 免 为 了 支撑 将 
来 的 业务 高 峰 而 预先 多 分 配额 外 的 资源 。 

用 户 可 以 针对 系统 对 不 同类 型 的 应 用 设置 不 同 的 资源 使 用 策略 。 
系统 分 为 三 种 策略 类 型 ， 即 组 内 自动 伸缩 策略 、 组 间 资 源 回 收 策略 、 
时 间 计 划 策 略 。 

” 组 内 自动 伸缩 策略 

组 内 目 动 伸缩 是 针对 单独 的 应 用 而 言 的 。 

在 运行 过 程 中 ， 组 内 自动 伸缩 策略 会 根据 应 用 的 当前 负载 动态 来 
调整 应 用 实际 使 用 的 资源 ， 这 里 的 动态 调整 主要 分 为 促 和 缩 。 

伸 是 指 当 一 个 应 用 资源 负载 较 高 时 ， 系 统 可 以 自动 地 给 这 个 应 用 
添加 虚拟 机 ， 并 且 安 装 应 用 软件 ， 以 降低 应 用 的 整体 资源 负载 ， 使 应 
用 能 够 健康 地 运行 。 

缩 和 伸 是 相对 的 ， 当 应 用 资源 负载 很 低 时 ， 系 统 可 以 目 动 减少 应 
用 使 用 的 虚拟 机 ， 释 放 相 应 的 资源 ， 以 达到 应 用 间 资 源 的 有 效 复 用 和 
节能 减 排 的 目的 。 

” 组 间 资 源 回收 策略 

组 间 资 源 回收 梨 略 指 的 是 ， 当 系统 资源 不 足 的 情况 下 ， 系 统 可 以 
根据 组 间 设 置 的 资源 复 用 人 策略， 使 优先 级 高 的 应 用 使 用 资产， 使 优先 
级 低 的 应 用 释放 资源 。 

” 时 间 计 划 策 略 

时 间 计 划 策 略 允 许 用 户 对 不 同 的 应 用 实现 资源 的 分 时 复 用 。 用 户 
可 以 设置 计划 策略 ， 使 得 不 同 的 应 用 分 时 段 地 使 用 系统 资源 ， 比 如 日 


天 让 办 公用 户 的 虚拟 机 使 用 系统 资产 ， 到 了 晚间 可 以 让 一 些 公共 的 虚 
拟 机 占用 资源 。 


虚拟 机 自动 备份 


虚拟 机 备份 是 使 用 备份 软件 ， 配 合 Hypervisor 快 照 和 CBT 
(Changed Block Tracking) 功能 实现 的 虚拟 机 数据 备份 方案 。 备 份 软 
件 通 过 与 Hypervisor 配 合 ， 实 现 对 指定 虚拟 机 的 备份 。 当 虚拟 机 数据 丢 
失 或 出 现 故 障 时 ， 可 通过 备份 的 数据 进行 恢复 。 数 据 备份 的 目的 端 为 
本 地 虚拟 磁盘 或 备份 软件 外 接 的 共享 网 络 存储 设备 (NAS) 。 
备份 软件 通过 设置 备份 策略 ， 实 现 虚拟 机 的 自动 定期 备份 。 针 对 
不 同 虚拟 机 或 虚拟 机 组 ， 可 设置 不 同 备份 策略 ， 最 多 支持 200 个 备份 策 
略 : 
~ 支持 对 全 备份 、 增 量 备 份 和 差 量 备份 分 别 设置 不 同 的 备份 周 
期 、 备 份 时 间 窗 口 ， 如 设置 每 周 进 行 一 次 全 备 、 每 天 进行 一 
次 增 备 ， 也 可 以 只 进行 一 次 全 备 ， 后 续 一 直 进 行 增 备 ; 
>” 设置 备份 数据 保留 时 间 ， 以 自动 清除 过 期 备份 数据 ; 
” 设置 备份 策略 优先 级 。 


8.1.3 ”网 络 自 动 化 
虚拟 网 络 


虚拟 化 具备 EVS 功 能 ， 支 持 分 布 式 虚 拟 交换 ， 可 以 向 虚拟 机 提供 
独立 的 网 络 平面 。 像 物理 交换 机 一 样 ， 不 同 的 网 络 平面 间 通 过 VLAN 
进行 隔离 。 这 种 技术 具备 如 下 特点 : 


可 


” 同一 宿主 机 上 的 不 同 虚 拟 机 ， 如 位 于 不 同 VLAN， 则 不 能 直接 
通 ; 
” 同一 宿主 机 上 的 不 同 虚 拟 机 ， 如 位 于 相同 VLAN， 则 可 以 直接 
二 层 互 通 ， 此 时 网 络 流量 通过 内 存 交 换 ， 不 受 任 何 网 络 带宽 
限制 ; 
”不 同 宿主 机 上 的 不 同 虚拟 机 ， 如 位 于 相同 VLAN， 则 可 以 通过 
外 部 交换 机 进行 互通 ， 就 像 没有 虚拟 化 一 样 。 
通过 这 种 能 力 ， 您 可 以 将 VLAN 视 为 独立 的 网 络 平面 ， 通 过 向 不 
同 的 虚拟 机 分 配 不 同 的 VLAN， 来 实现 各 种 业务 间 的 隔离 。 


虚拟 DHCP 


虚拟 DHCP 就 是 一 种 DHCP 服 务 ， 可 以 部 署 到 任意 的 虚拟 网 络 平面 

。 您 可 以 透 过 此 服务 来 管理 虚拟 机 的 IP 地 址 分 配 。 虚 拟 DHCP 其 实 是 

一 台独 立 的 虚拟 机 ， 其 上 面 运 行 的 DHCP 程 序 与 物理 DHCP 服 务 并 无 功 
能 上 的 显著 区 别 。 

由 于 虚拟 DHCP 服 务 是 通过 虚拟 机 部 署 的 ， 所 以 可 以 随时 依据 需要 
灵活 地 部 署 到 网 络 平面 内 。 虚 拟 DHCP 的 部 署 过 程 也 是 自动 化 的 ， 并 不 
需要 手动 部 署 。 

由 于 虚拟 DHCP 服 务 是 服务 于 指定 网 络 平面 的 ， 所 以 可 以 在 不 同 的 
网 络 平面 间 使 用 不 同 的 DHCP 服 务 ， 这 样 就 可 以 在 不 同 的 网 络 平面 之 间 
做 到 JP 地 址 重 爱 。 

在 传统 的 DHCP 服 务 上 ， 虚 拟 DHCP 服 务 追 加 了 虚拟 机 DHCP 数 据 
的 集中 管理 能 力 ， 即 虚拟 机 的 MAC 地 址 和 卫 地 址 绑 定 关 系 是 集中 存储 
在 虚拟 化 的 集中 数据 库 中 的 。 这 样 的 好 处 就 是 ， 当 某 一 个 虚拟 DHCP 服 


务实 例 发 生 故 障 时 ， 我 们 可 以 很 方便 地 重新 部 署 一 个 虚拟 DHCP 服 务 ， 
然后 把 数据 注入 进去 。 这 样 使 得 虚拟 服务 的 修复 变 得 容易 。 

总 结 一 下 ， 虚 拟 DHCP 服 务 具备 如 下 优点 : 

> 按 需 随时 部 署 回收 ; 

> 支持 IP 地 址 重 私 ; 

”~ 无 状态 ， 便 于 替换 。 


虚拟 网 关 服务 


使 用 虚拟 三 层 网 天 服务 ， 可 以 为 子 网 提供 三 层 路 由 的 能 力 。 三 层 
网 关 会 占用 子 网 的 网 关 地 址 ， 向 子 网 内 的 虚拟 机 及 其 他 设备 提供 三 层 
路 由 的 能 力 。 从 这 一 点 讲 ， 虚 拟 网 天 的 能 力 与 物理 网 络 设备 (交换 
机 、 路 由 器 等 ) 一 致 。 

和 虚拟 DHCP 服 务 一 样 ， 虚 拟 网 关 服 务 也 是 通过 向 虚拟 网 络 平面 部 
署 虚拟 机 来 实现 虚拟 网 关 服 务 的 ， 即 通过 一 台 虚 拟 机 为 虚拟 网 络 平面 
上 的 某 个 Subnet 提 供 路 由 能 力 。 

虚拟 网 关 服 务 可 以 同时 为 多 个 子 网 提供 网 关 能 力 。 当 虚拟 网 关 服 
务 同时 为 多 个 子 网 提供 服务 时 ， 虚 拟 网 关 会 自动 配置 这 些 子 网 间 的 默 
认 路 由 。 这 样 很 方便 ， 一 个 虚拟 网 天下 的 多 个 子 网 间 默 认 就 是 可 以 路 
由 的 ， 通 过 虚拟 路 由 功能 控制 网 络 间 数 据 通 信 。 

虚拟 网 关 服 务 除了 提供 网 关 能 力 外 ， 还 提供 NAT 和 NAPT 的 能 力 。 
基于 此 能 力 ， 其 可 以 实现 更 加 灵活 的 组 网 和 业务 。 

虚拟 网 天 的 数据 也 是 集中 存储 在 虚拟 化 的 数据库 中 的 。 虚 拟 网 关 
的 修复 方式 和 DHCP 服 务 一 样 ， 都 是 重新 部 署 虚拟 机 ， 注 入 数据 ， 这 使 
得 虚拟 网 关 的 修复 变 得 很 容易 。 


由 于 虚拟 网 关 运 行 于 虚拟 机 之 上 ， 其 处 理 能 力 及 带宽 吞吐 量 会 受 
宿主 机 上 其 他 虚拟 机 的 影响 。 对 于 网 络 压力 不 大 的 场景 ， 可 以 使 用 虚 
拟 网 天 来 应 对 ， 这 样 部 署 方便 且 成 本 低 。 对 于 网 络 压力 比较 大 的 场 
景 ， 建 议 使 用 物理 设备 作为 网 天 。 

虚拟 化 一 般 支 持 将 物理 防火 墙 虚拟 化 为 虚拟 防火 墙 ， 同 时 提供 虚 
拟 网 关 的 能 力 ， 推 荐 在 性 能 和 安全 要 求 比较 高 的 场景 使 用 。 


虚拟 防火 墙 


云 管理 可 以 将 物理 的 防火 墙 设备 虚拟 化 为 虚拟 防火 墙 。 虚 拟 防 火 
墙 可 以 分 配给 用 户 网 络 ， 放 在 网 络 的 边界 上 ， 对 外 提供 如 下 的 功能 : 

> ACL 隔 离 ; 

” 带宽 限制 ; 

” 三 层 网 关 ; 

” 默认 路 由 ; 

” 弹性 IP; 

> SNAI 穿 越 。 

最 终 用 户 可 以 像 配置 物理 防火 墙 一 样 方便 地 配置 自己 的 虚拟 防火 
墙 。 

由 于 虚拟 防火 墙 使 用 的 实际 上 是 物理 防火 墙 的 硬件 资源 ， 所 以 其 
性 能 和 可 靠 性 是 有 保障 的 。 


虚拟 VPN 


云 管 理 支 持 利 用 虚拟 防火 墙 的 能 力 对 外 提供 VPN 能 力 。 当 前 支持 
的 VPN 类 型 为 : 


~ IPSec VPN Server to Server 模 式 ， 用 于 跨 广 域 的 两 个 网 络 间 的 


互通 ; 
~ L2TP over IPSec VPN， 用 于 最 终 用 户 通 过 互联 网 访问 私有 网 
终 


一 口 o 


通过 VPN 能 力 ， 可 以 很 方便 地 实现 私有 网 络 在 云 上 的 扩展 ， 以 及 
公 网 访问 私有 网 络 的 能 力 。 

由 于 虚拟 VPN 使 用 的 实际 上 是 物理 防火 墙 的 硬件 资源 ， 所 以 其 性 
能 和 可 靠 性 是 有 保障 的 。 


虚拟 负载 均衡 


虚拟 负载 均衡 服务 ， 即 通过 在 虚拟 机 上 部 署 软件 的 负载 均衡 器 ， 
向 虚拟 化 基础 设施 提供 负载 均衡 的 能 力 。 

由 于 虚拟 负载 均衡 服务 部 署 在 虚拟 机 上 ， 所 以 它 可 以 很 方便 地 随 
时 部 署 销 毁 。 同 时 ， 虚 拟 化 资产 池 提 供 的 虚拟 负载 均衡 服务 数据 存储 
在 虚拟 化 数据 库 中 ， 所 以 在 出 现 故 障 时 可 以 很 容易 地 恢复 。 

其 支持 将 负载 均衡 器 虚拟 化 来 提供 虚拟 负载 均衡 ， 同 时 支持 使 用 
虚拟 化 提供 的 虚拟 负载 均衡 能 力 来 提供 虚拟 负载 均衡 服务 。 

负载 均衡 服务 允许 将 来 自 公 网 的 流量 依据 一 定 的 负载 均衡 规则 分 
发 到 多 个 业务 处 理 虚拟 机 上 。 结 合 虚拟 防火 墙 提 供 的 弹性 IP 能 力 ， 囊 
宽 限 制 能 力 ， 可 以 很 方便 地 控制 Web 应 用 的 流量 和 压力 。 

虚拟 化 提供 的 虚拟 负载 均衡 运行 于 虚拟 机 之 上 ， 其 处 理 能 力 及 讳 
宽 吞 吐 量 会 受 宿 主机 上 其 他 虚拟 机 的 影响 。 对 于 网 络 压 力 不 大 的 场 
景 ， 可 以 使 用 虚拟 负载 均衡 来 应 对 ， 这 样 部 署 方 便 且 成 本 低 。 


由 于 虚拟 负载 均衡 运行 于 虚拟 机 之 上 ， 其 处 理 能 力 及 带宽 吞吐 量 

会 受 宿主 机 上 其 他 虚拟 机 的 影响 。 对 于 网 络 压力 不 大 的 场景 ， 可 以 使 

用 虚拟 负载 均衡 来 应 对 ， 这 样 部 署 方 便 且 成 本 低 。 对 于 网 络 压力 比较 
大 的 场景 ， 建 议 使 用 物理 负载 均衡 器 。 

ne 


服务 。 由 于 使 用 独立 硬件 ， 性 能 要 远 远 高 于 软件 的 虚拟 负载 均衡 服 
务 。 
8.2 理 > 一 


在 云 管理 平台 上 ， 通 过 对 各 种 物理 资产 、 虚 拟 化 资源 数据 统一 建 
模 ， 将 资源 以 用 户 可 见 的 资源 闻 形 式 提 供 合 上 层 应 用 ， 在 接 入 不 同 的 
物理 设备 和 虚拟 化 资源 环境 时 ， 上 层 应 用 不 感知 〈 见 图 8-2) 。 
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图 8-2 ”统一 资源 管理 模型 
统一 资源 管理 ， 支 持 发现 其 管辖 范围 内 的 物理 设备 (包括 机 框 、 
服务 器 、 存 储 设备 、 交 换 机 、 防 火 墙 和 负载 均衡 器 等 ， 以 及 它们 的 组 


网 关系 ;支持 将 这 些 物理 设备 进行 闻 化 管理 和 集中 管理 ， 提 供给 
应 用 管理 使 用 ， 实 现 资 源 高 效 共享 。 

虚拟 化 资源 管理 可 以 统一 管理 不 同 厂商 的 虚拟 化 平台 系统 ， 如 华 
为 的 FusionSphere、 VMware 的 vSphere、 微 软 的 HyperrV、 思 杰 的 Xen 
Server 等 虚拟 化 平台 ， 提 供 不 同 资源 的 生命 周期 管理 功能 ， 包 括 虚 拟 机 
资源 、 虚 拟 网 络 资源 、 虚 拟 存储 资源 管理 等 。 

通过 资源 闻 管 理 ， 人 高 基础 设施 资源 的 利用 率 和 灵活 性 ， 提 
供 统一 的 虚拟 化 资源 管理 能 力 ， 对 上 层 应 用 发 放 屏 炎 差异 ， 实 现 虚 拟 
资产 集中 管理 ， 提 升 管 ss。 ， 降 低 运 维 成 本 。 

采用 南 向 插件 机 制 ， 使 云 管理 可 以 快速 、 便 捷 、 可 定制 地 实现 不 
同 硬件 和 虚拟 化 系统 的 对 接 。 


8.2.1 ”物理 资源 管理 


根据 不 同 的 资源 对 象 ， 物 理 管理 资源 分 为 服务 器 资源 管理 、 存 
储 、 网 络 设备 。 

服务 器 资源 管理 包括 IBM、HP、ORACLE (Sun) 、Fujitsu 等 支持 
基于 Intel 和 AMD 架 构 的 x86 主 流 服务 器 机 。 通 过 云 管理 平台 ， 其 对 外 提 
供 统一 的 资源 分 配 和 管理 。 云 管理 平台 支持 多 个 虚拟 化 资源 池 的 管 
理 ， 一 个 资源 池内 的 物理 主机 拥有 同样 类 型 的 CPU 架构 或 操作 系统 类 
型 ， 以 便 进行 业务 弹性 伸缩 和 动态 调度 。 

网 络 资源 基础 管理 提供 对 路 由 器 、 交 换 机 、 负 载 均 衡器 、 防 火 
墙 、IP 地 址 、 虚 拟 网 络 设备 等 网 络 设备 和 资源 的 查询 和 配置 管理 ， 网 
络 资源 包括 : 资源 编号 ， 对 应 网 络 ee 网 络 设备 的 管 
和 配置 接口 信息 。 将 多 个 网 络 资源 整 整体 ， 对 外 提供 统 一 的 

网 络 资源 分 配 和 集中 式 管 理 。 网 络 资源 0 网 络 资源 


池 编号 、 网 络 资源 类 型 (比如 IP 地 址 、 交 换 机 、 路 由 器 、 负 载 均衡 
器 、 防 火 墙 等 ) 、 网 络 资源 闻 组 成 信息 、 网 络 资源 闻 容 量 信息 、 资 源 


典型 的 云 管理 平台 ， 对 网 络 资 源 能 力 包括 : 


到 


” 


” 


| 


支持 对 网 络 设备 的 自动 发 现 ; 

支持 设备 拓扑 图 ， 

支持 对 网 络 设备 (包括 虚拟 网 络 设备 ) 的 配置 和 管理 ， 包 括 
网 络 带 宽容 量 、VLAN 等 资源 的 配置 、 查 询 、 导 出 功能 ， 支 
持 通 过 全 网 资源 统计 ， 观 测 全 网 网 络 资源 使 用 的 状况 ; 
支持 网 络 资源 〈 池 ) 的 容量 管理 ， 包 括 总 容量 、 已 使 用 的 资 
源 容量 、 可 用 资源 容量 等 信息 的 管理 和 查询 ， 对 网 络 设备 实 
时 监测 ; 

提供 对 网 络 资源 〈 池 ) 的 生命 周期 管理 (包括 创建 、 修 改 、 
查询 和 删除 ) ， 

提供 对 网 络 资源 ( 闻 ) 的 操作 和 配置 接口 ; 


硬件 设备 接 入 协议 一 览 表 如 表 8-1 所 示 。 


表 8-1 硬件 设备 接 入 协议 一 览 表 


分 类 设备 类 型 接 入 协议 告警 上 报 协议 

机 框 式 服务 器 SNMP、 IPMI、 SSH 
裸 金属 机 框 式 服务 器 SNMP、 IPMI 

服务 器 一 一 一 - 
机 架 式 服务 器 IPMI、SSH 人 
裸 金属 机 架 式 服务 器 IPMI 

存储 一 TLV、 SMI-S 

交换 机 = SNMP、 SSH 


通过 服务 器 管理 ， 可 查看 服务 器 名 称 和 其 他 信息 ， 管 理 耳 地址 、 
BIOS、CPU 主 频 个 数 、 内 存 大 小 、 硬 盘 容 量 、 网 卡 个 数 和 网 口 个 数 等 
信息 。 

服务 器 操作 管理 对 服务 器 进行 安全 下 电 、 强 制 下 电 、 安 全 重启 、 
进入 维护 模式 和 退出 维护 模式 等 操作 。 

服务 器 监控 管理 监控 服务 器 的 如 下 指标 : CPU 占用 率 、 内 存 占用 
率 、 网 络 流 出 、 网 络 流入 、 磁 盘 IO 写 入 、 磁 盘 IO 读 出 和 服务 器 状态 
等 ， 同 时 可 以 按 周 、 月 、 年 及 自 定义 时 段 查询 性 能 监控 结果 ， 也 可 以 
导出 查询 结果 。 

” 网 络 设备 管理 

查看 交换 机 信息 ， 如 交换 机 的 名 称 、 管 理 IP 地 址 、 型 号 、 类 型 和 
状态 等 信息 。 

查看 交换 机 端口 连接 状态 ， 如 查看 交换 机 每 个 端口 的 编号 、 状 
态 、 发 送 速率 、 接 收 速率 、 发 送 丢 包 率 、 接 收 丢 包 率 、 发 送 错误 率 和 
接收 错误 率 等 信息 。 

网 络 配置 管理 对 系统 网 络 进行 配置 和 管理 ， 如 外 部 网 络 、 组 织 芭 
络 和 服务 器 BMC IP 闻 等 。 

” 存储 设备 管理 

查看 存储 设备 的 配置 信息 ， 如 存储 设备 的 名 称 、 管 理 IP 地 址 、 型 
号 、 状 态 和 磁盘 数量 等 信息 。 

存储 设备 的 监控 管理 ， 如 查询 存储 设备 的 总 容量 和 可用 容量 等 。 


8.2.2 ”虚拟 化 资源 管理 


云 管理 平台 对 虚拟 化 的 管理 包括 虚拟 化 生命 周期 管理 、 虚 拟 网 络 
管理 、 虚 拟 化 存储 管理 和 VPC 业务 。 


虚拟 生命 周期 管理 


”创建 虚拟 机 

管理 员 可 以 通过 多 种 方式 创建 虚拟 机 ， 如 通过 应 用 创建 虚拟 机 业 
务 群 、 使 用 虚拟 机 模板 来 创建 虚拟 机 (或 批量 创建 多 个 虚拟 机 ) ， 通 
过 自 定 义 方 式 创建 虚拟 机 ， 或 者 通过 已 有 虚拟 机 克隆 方式 创建 虚拟 
机 。 

” 销毁 虚拟 机 

管理 员 可 以 通过 删除 应 用 来 销毁 虚拟 机 ， 将 不 再 使 用 的 虚拟 机 销 
咒 ， 以 释放 系统 资产 。 

”虚拟 机 的 维护 

管理 员 可 以 对 一 个 或 多 个 虚拟 机 执行 启动 /唤醒 、 安 全 重启 、 强 制 
重启 、 休 眠 、 安 全 关闭 和 强制 关闭 等 操作 。 

” 迁移 虚拟 机 

管理 员 可 以 将 虚拟 机 从 一 台 主 机 上 迁移 到 另 一 台 主 机 上 。 

” 修复 虚拟 机 

虚拟 机 操作 系统 异常 后 ， 管 理 员 可 以 对 虚拟 机 进行 修复 。 修 复 虚 
拟 机 不 会 影响 用 户 数据 ， 确 保 用 户 信息 不 丢失 。 
”创建 虚拟 机 快照 
虚拟 机 快照 可 保留 虚拟 机 对 一 个 时 刻 的 状态 ， 当 虚拟 机 出 现 故 障 
管理 员 可 以 使 用 快照 将 虚拟 机 恢复 到 创建 快照 的 时 刻 点 。 
” 虚拟 机 资源 调整 
管理 员 可 以 根据 业务 负载 调整 资源 的 使 用 情况 。 虚 拟 机 资源 调整 
包括 以 下 几 点 。 


时 


-> 


调整 虚拟 机 的 QoS : 配置 了 虚拟 机 CPU QoS 后 ， 当 虚拟 机 局 
动 时 ， 系 统 会 根据 当前 资源 使 用 情况 为 虚拟 机 的 vCPU 绑 定 
物理 CPU， 直 到 虚拟 机 关机 。 

调整 虚拟 机 CPU 数目 : 管理 员 可 以 根据 需要 ， 增 加 或 者 减少 
虚拟 机 的 CPU 核 数 ， 以 便 满 足 虚 拟 机 上 业务 负载 发 生变 化 
时 ， 对 计算 资源 的 不 同 需求 。 

调整 内 存 大 小 : 管理 员 可 以 根据 需要 增加 或 者 减少 虚拟 机 的 
内 存 容 量 ， 以 便 满足 虚拟 机 上 业务 负载 发 生变 化 时 对 内 存 的 
需求 。 

增加 或 修改 虚拟 磁盘 : 管理 员 
容量 ， 满 足 业务 对 虚拟 机 磁盘 
源 的 灵活 使 用 。 

删除 虚拟 磁盘 : 管理 员 通 过 删除 虚拟 磁盘 ， 释 放 不 使 用 的 磁 
盘 空 间 ， 满 足 业务 对 虚拟 机 磁盘 容量 变化 的 需求 ， 实 现存 储 
资源 的 灵活 使 用 。 

增加 或 修改 网 卡 : 管理 员 通 过 增加 虚拟 网 卡 或 修改 网 卡 属 
性 ， 调 整 虚拟 机 的 网 络 属性 ， 实 现 网 络 资源 的 灵活 使 用 。 
删除 网 卡 : 管理 员 通 过 删除 虚拟 网 卡 ， 释 放 不 使 用 的 网 卡 ， 
实现 网 络 资源 的 灵活 使 用 。 

增加 USB 控 制 器 : 管理 员 可 以 为 虚拟 化 环境 中 的 虚拟 机 添加 
USB 控 制 器 ， 添 加 USB 控 制 器 后 ， 虚 拟 机 就 可 以 绑 定 USB 设 
备 ， 实 现 与 个 人 电脑 同样 的 操作 。 

删除 USB 控 制 器 : 管理 员 可 以 删除 虚拟 化 环境 中 的 USB 控 制 
器 ， 释 放 虚 拟 机 所 占用 的 USB 控 制 器 资源 。 


通过 增加 虚拟 磁盘 或 修改 磁盘 
容量 变化 的 需求 ， 实 现存 储 资 


。 绑 定 或 解 绑 定 USB 设 备 : 管理 员 将 虚拟 机 与 主机 上 的 USB 设 
备 进 行 绑 定 ， 使 得 虚拟 机 能 够 访问 USB 设 备 ， 满 足 用 户 需 
求 ; 也 可 以 解 绑 定 ， 及 时 释放 虚拟 机 占用 的 USB 设 备 资源 。 

。 调整 虚拟 机 磁盘 的 HO 上 限 : 管理 员 可 设置 虚拟 机 每 个 磁盘 
的 TO 上 限 ， 以 避免 某 个 虚拟 机 的 磁盘 IO 过 大 ， 影 响 其 他 虚 
拟 机 的 性 能 。 

" 虚拟 机 性 能 监控 : 通过 云 平 台 系 统 ， 可 以 获取 虚拟 机 CPU 占 
用 率 、 内 存 占 用 率 、 网 络 流速 和 磁盘 IO 等 信息 ， 还 可 以 按 
周 、 月 、 年 及 自 定 义 时 段 查 询 性 能 监控 结果 。 


虚拟 网 络 管理 


虚拟 网 络 管理 包括 子 网 管理 、VLAN 池 管理 、VPC 管 理 和 虚拟 防 
火 墙 。 云 平台 的 子 网 管理 ， 支 持 子 网 下 虚拟 机 的 二 层 隔 离 。 当 组 网 模 
式 采 用 二 层 、 三 层 时 均 可 根据 用 户 需 要 配置 VYLAN 闻 ， 在 组 网 模式 为 
三 层 组 网 时 添加 的 VLAN 闻 只 用 于 隔离 二 层 网 络 。VPC 为 应 用 发 放 提 
供 了 一 个 独占 并 且 完 全 隔离 的 网 络 容器 ， 可 以 在 VPC 内 添加 虚拟 防火 
墙 和 各 种 类 型 的 网 络 。 

软件 的 虚拟 防火 墙 是 指 通 过 VSA 虚 拟 机 提供 防火 墙 功 能 ， 该 防火 
墙 能 为 VPC 提 供 DNAT 和 VxLAN 业 务 ， 也 能 够 提供 类 似 于 弹性 IP 的 功 
能 ， 只 不 过 “弹性 IP” 是 直接 从 外 部 网 络 ， 而 不 是 公 网 IP 闻 中 获取 的 。 硬 
件 虚 拟 防火 墙 是 在 物理 防火 墙 设备 上 创建 的 虚拟 防火 墙 ， 对 防火 墙 性 
能 要 求 较 高 时 可 以 选择 此 类 型 ， 并 且 能 够 为 VPC 提 供 弹 性 IP、DNAT、 
ACL 和 和 VPN 功能。 


VPC 能 够 为 组 织 提 供 安全 、 隔 离 的 网 络 环境 ， 可 以 在 VPC 中 定义 
与 传统 网 络 无 差别 的 虚拟 网 络 ， 以 满足 业务 部 署 要 求 。 在 VPC 中 ， 创 
建 的 虚拟 机 或 应 用 被 部 署 到 网 络 当 中 ， 可 用 于 提供 服务 。 

VPC 提供 三 种 网 络 用 于 部 署 业务 资源 。 

~ 直 连 网 络 

直 连 网 络 与 外 部 网 络 相 连 ， 其 自身 不 包含 任何 网 络 资源 ， 在 直 连 
网 络 中 创建 虚拟 机 或 应 用 时 实际 使 用 的 是 外 部 网 络 中 的 资源 。 外 部 网 
络 可 以 是 公司 现 有 网 络 或 者 公 网 ， 当 外 部 网 络 为 公司 现 有 网 络 时 ， 云 
管理 与 公司 现 有 网 络 对 接 ， 虚 拟 机 可 分 配 到 公司 现 有 网 络 的 IP 地 址 资 
源 。 当 外 部 网 络 为 公 网 时 ， 其 直 连 网 络 中 的 虚拟 机 具有 直接 访问 公 网 
的 能 力 。 

” 内 部 网 络 

由 于 内 部 网 络 和 其 他 的 网 络 是 隔离 的 ， 因 此 内 部 网 络 中 可 以 部 署 
对 安全 性 要 求 较 高 的 业务 ， 例 如， 部 署 一 个 三 层 网 站 时 ， 可 将 数据 库 
所 在 服务 器 部 署 在 内 部 网 络 中 。 

” 路 由 网 络 

路 由 网 络 具 有 灵活 的 互通 能 力 和 多 种 业务 功能 ， 基 于 虚拟 防火 墙 
的 路 由 网 络 能 够 与 VPC 中 的 其 他 路 由 网 络 互通 ， 或 者 绑 定 弹性 IP 与 公 
网 进行 通信 。 除 了 弹性 IP， 路 由 网 络 还 能 提供 ACL、DNAT 和 VPN 业 
务 ， 以 满足 业务 部 署 要 求 。 在 创建 路 由 网 络 前 ， 需 要 先 为 VPC 申请 虚 
拟 防 火 墙 ( 见 图 8-3) 。 


VPC 虚拟 防火 墙 
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图 8-3 VPC 网络 结 构 
VPC 的 业务 包括 以 下 几 点 。 
” 弹性 IP 
弹性 IP 地 址 是 一 个 公 网 IP 地 址 ， 该 IP 地 址 可 以 与 VPC 内 任何 一 个 路 
由 网 络 中 的 内 部 IP 地 址 绑 定 。 这 个 内 部 地 址 可 以 是 虚拟 机 的 人 P 地 址 、 
VLB 的 虚拟 耳 地 址 或 浮动 耻 地 址 。 例 如 ， 为 VPC 内 的 web 服务 器 绑 定 弹 
性 了 后 ， 公 网 用 户 通过 访问 弹性 IP 地 址 使 用 Web 服务 ， 如 图 8-4 所 示 。 


192.168.10.3 131.107.0.10 9 | 
ee | 用 户 1 
p> 


图 8-4 ”弹性 IP 


” DNAT 


当 VPC 内 部 需要 提供 对 外 服务 时 ， 公 网 用 户 发 起 连接 请 求 ， 由 防 
火 墙 上 的 网 关 接 收 这 个 连接 ， 然 后 将 连接 转换 到 内 部 ， 此 过 程 是 由 融 
有 公 网 IP 的 网 关 蔡 代 内 部 服务 来 接收 外 部 的 连接 ， 然 后 在 内 部 做 地 址 
转换 ， 此 转换 称 为 DNAT， 主 要 用 于 内 部 服务 对 外 发 布 〈 见 图 8-5) 。 
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图 8-5 DNAT 


” SNAT 

内 部 地 址 单 向 发 起 请 求 访问 公 网 上 的 服务 时 (如 Web 访 问 ) ， 内 
部 地 址 会 主动 发 起 连接 ， 由 防火 墙 上 的 网 关 对 内 部 地 址 做 地 址 转换 ， 
将 内 部 IP 地 址 转换 为 公 网 IP 地 址 。 这 个 由 网 关 完 成 的 地 址 转换 称 为 
SNAT， 主 要 用 于 内 部 共享 IP 访 问 外 部 ， 如 图 8-6 所 示 。 


路 由 网 络 
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图 8-6 SNAT 


” VxLAN 


VPN 业 务 用 于 在 公 网 之 上 建立 一 条 安全 、 稳 定 的 通信 隧道 ， 将 分 
布 于 不 同 地 域 的 企业 或 个 人 连接 起 来 ， 并 保证 通信 隧道 内 发 送 和 接收 
数据 的 安全 性 。 云 管理 需 支 持 IPsec 和 L2TP 两 种 类 型 的 VPN， 将 处 于 公 
网 中 的 用 户 接 入 到 VPC 的 路 由 网 络 ， 使 用 户 与 路 由 网 络 中 的 服务 器 互 
通 。 

” 安全 组 

安全 组 用 来 实现 安全 组 内 和 组 间 虚 拟 机 的 访问 控制 ， 加 强 虚 拟 机 
的 安全 保护 。 安 全 组 创建 后 ， 管 理 员 可 以 在 安全 组 中 定义 各 种 访问 规 
则 ， 当 虚拟 机 加 入 该 安全 组 后 ， 即 受到 这 些 访问 规则 的 保护 。 

例如 ， 在 同一 VLAN 下 的 两 个 部 门 之 间 相 互 隔离 ， 同 一 部 门 之 间 
的 虚拟 机 可 以 相互 访问 ， 但 是 所 有 虚拟 机 都 可 以 与 服务 器 通信 。 解 决 
方法 如 图 8-7 所 示 ， 分 别 为 部 门 1、 部 门 2 创建 安全 组 1、 安 全 组 2， 且 安 
全 组 为 组 内 互通 ; 为 安全 组 1 和 安全 组 2 添加 安全 组 规则 ， 人 允许 服务 器 
的 IP 地 址 段 访问 安全 组 。 


192.168.12.16-192.168.12.18 


图 8-7 虚拟 机 隔离 


虚拟 存储 管理 


虚拟 化 存储 将 不 同 厂商 的 各 种 物理 存储 设备 连 成 一 个 逻辑 存储 
池 ， 对 外 提供 业务 并 存储 空间 管理 ， 根 据 存储 空间 类 型 不 同 ， 可 分 为 
文件 资源 、 块 数据 资源 和 对 象 资源 。 所 有 的 存储 设备 将 被 统一 管理 ， 
提供 数据 复制 、 快 照 、 克 隆 、 远 程 灾 备 等 业务 。 

云 管理 平台 提供 数据 存储 空间 (包括 文件 、 块 和 对 象 ) 的 生命 周 

管理 接口 ， 对 存储 设备 进行 信息 记录 和 综合 管理 ， 包 括 存储 空间 的 
eo 删除 、 加 载 、 基 载 、 查 询 等 ， 支 持 各 种 主流 品牌 存储 设备 的 接 
入 和 管理 ， 采 用 行业 标准 的 开放 接口 ， 将 不 同 三家、 不 同型 号 的 存储 
设备 接 入 到 统一 存储 虚拟 化 层 ， 人 存储 虚拟 化 层 对 这 些 存储 设备 进行 发 


现 、 管 理 、 分 配 ， 存 储 虚 拟 化 后 ， 对 上 层 应 用 提供 统一 的 存储 访问 格 


云 管 平台 支持 跨 地 域 的 存储 闻 的 统一 监控 管理 ， 实 现 远程 管 


H 
uly 
CCY 


8.2.3 ”资源 集群 管理 


集群 是 由 多 个 计算 服务 器 组 成 的 ， 集 群 内 的 服务 器 作为 一 个 整体 
来 工作 和 进行 管理 。 一 个 虚拟 化 环境 中 可 以 有 多 个 集群 。 虚 拟 机 在 创 
建 时 被 指定 在 某 一 个 集群 内 ， 根 据 一 定 的 原则 (如 负荷 分 担 ) 选择 一 
个 主机 ， 在 此 主机 上 创建 虚拟 机 。 对 于 集群 内 的 计算 资源 共享 ， 虚 拟 
机 可 以 从 一 个 物理 主机 迁移 到 另 一 个 物理 主机 。 资 源 集群 管理 的 功能 
包括 创建 资源 集群 、 删 除 资源 集群 、 扩 容 资 源 集群 、 减 容 资源 集群 、 
监控 资产 集群 性 能 。 

” 创建 资源 集群 

选择 计算 资源 、 存 储 资源 、 网 络 资源 来 创建 资源 集群 ， 在 创建 过 
程 中 可 以 进行 高 级 配 置 ， 配 置 资源 集群 的 HA 和 主机 内 存 复 用 信息 。 

” 删除 资源 集群 

删除 资源 集群 后 ， 相 应 的 计算 资源 、 存 储 资源 、 网 络 资源 会 被 释 
放 。 

” 扩容 资源 集群 

给 已 经 发 放 的 资源 集群 添加 服务 器 、 数 据 存 储 资源 。 

” 减 容 资源 集群 

对 已 经 发 放 的 资源 集群 ， 可 以 删除 其 中 的 服务 器 、 网 络 和 数据 存 
储 来 释放 资产 。 

” 查看 资源 集群 


显示 资源 集群 的 基本 信息 包括 集群 名 称 ， 所 属 的 域 、 虚 拟 化 环境 
及 资源 分 区 ， 集 群 中 主机 总 数 ， 故 障 主机 数 ， 虚 拟 机 总 数 ， 故 障 虚拟 
机 数 等 。 
” 资源 集群 性 能 监控 
可 以 按 周 、 月 、 年 、 自 定义 时 间 段 查询 资源 集群 性 能 监控 ， 监 控 
指标 有 平均 CPU 趋势 对 比 、 平 均 内 存 趋势 对 比 、 平 均 网 络 流量 趋势 对 
比 〈 网 络 流出 ) 、 平 均 网 络 流量 趋势 对 比 (网 络 流入 ) 。 
> 集群 HA (High Available) 
虚拟 机 支持 热 迁 移 ， 支 持 在 一 个 计算 集群 内 自由 迁移 虚拟 机 。 在 
虚拟 机 迁移 期 间 ， 用 户 业 务 不 会 有 任何 中 断 。 如 果 迁 移 失 败 ， 目 的 端 
的 虚拟 机 将 被 销毁 ， 而 用 户 仍 可 以 使 用 产 端 虚拟 机 。 该 功能 可 避免 因 
服务 器 维护 造成 的 业务 中 断 ， 降 低 数 据 中 心 的 电能 消耗 。 
虚拟 机 支持 故障 迁移 ， 该 功能 支持 虚拟 机 故障 后 自动 重启 。 用 户 
创建 虚拟 机 时 ， 可 以 选择 是 否 支 持 故 障 重启 ， 即 是 否 支 持 HA 功 能 。 系 
统 周期 检测 虚拟 机 状态 ， 当 物理 服务 器 故障 引起 虚拟 机 故障 时 ， 系 统 
会 将 虚拟 机 迁移 到 其 他 物理 服务 器 重新 启动 ， 保 证 虚拟 机 能 够 快速 恢 
复 。 重 新 局 动 的 虚拟 机 ， 会 像 物 理 机 一 样 重新 开始 引导 ， 加 载 操 作 系 
统 ， 所 以 发 生 故 障 时 未 保存 的 内 容 将 丢失 。 


8.2.4 ”虚拟 机 资源 管理 


虚拟 机 资源 管理 包括 对 虚拟 机 生命 周期 管理 和 虚拟 化 格式 转换 。 

” 虚拟 机 生命 周期 管理 

虚拟 机 创建 ， 即 接收 业务 运营 系统 的 申请 虚拟 机 请 求 ， 检 查 资源 
闻 及 分 区 资源 是 否 满足 申请 ， 根 据 运营 参数 在 对 应 的 存储 闻 分 配 相应 


的 虚拟 机 资源 。 其 支持 通过 模板 快速 批量 创建 虚拟 机 ， 或 者 从 已 有 虚 
拟 机 克隆 虚拟 机 。 

” 虚拟 化 格式 转换 

P2V (Physical Machine to Virutal Machine) 是 指 将 物理 服务 器 连 
同上 面 安装 的 操作 系统 和 应 用 转换 为 虚拟 机 ， 常 用 于 将 已 有 应 用 系统 
由 物理 服务 器 平台 迁移 到 虚拟 机 平台 。 其 支持 离线 或 者 在 线 地 将 物理 
服务 器 上 的 操作 系统 (Windows/Linux) 迁移 到 虚拟 环境 。 

P2V 转 换文 持 离 线 和 在 线 两 种 方式 。 在 线 方式 是 物理 服务 器 上 的 
应 用 系统 在 对 外 提供 服务 的 过 程 中 实现 P2V 转 换 ， 转 换 完 成 后 切换 到 
虚拟 机 继续 提供 服务 ， 在 线 P2V 转 换 应 保证 业务 不 中 断 。 离 线 方式 是 
在 转换 过 程 中 ， 应 用 系统 不 对 外 提供 服务 。 

V2V 是 指 将 虚拟 机 从 一 种 虚拟 机 格式 转换 成 另 一 种 虚拟 机 格式 ， 
支持 跨 主 流 x86 虚 拟 化 平台 的 虚拟 机 间 的 转换 ， 可 以 自动 检测 并 替换 原 
有 的 虚拟 硬件 设备 以 保证 虚拟 机 迁移 后 的 正常 运行 。 转 换 成 功 后 ， 虚 
拟 机 支持 正常 运行 ， 数 据 不 丢失 。 


8.3 ”基于 网 络 的 硬件 县 的 自 云 | 
8.3.1 ”设备 自动 发 现 和 部 署 


目前 全 业 务 普遍 采用 数据 中 心 集中 管理 ， 统 一 对 外 提供 软 硬 件 资 
源 ， 整 个 云 数据 中 心 的 硬件 快速 扩容 ， 更 换 硬件 将 直接 影响 这 个 数据 
中 心 的 业务 的 故障 恢复 和 系统 扩容 的 效率 。 因 此 ， 系 统 基于 网 络 的 硬 
件 即 插 即 用 在 云 基础 设施 维护 中 变 得 至 关 重 要 。 

系统 从 硬件 插入 机 框 上 电 到 提供 计算 服务 资源 ， 全 流程 目 动 化 完 
成 。 


即 插 即 用 的 自动 化 机 制 包 括 : 
” 硬件 的 自动 发 现 ; 
” 基础 管理 网 络 的 配置 (服务 器 端口 网 络 属性 的 配置 、 物 理 交 
换 机 网 络 配置 和 IP 地 址 自动 分 配 ) ; 
” 操作 系统 的 自动 安装 ， 系 统 可 根据 用 户 配置 ， 自 动 完成 各 种 
操作 系统 的 安装 ; 
” 硬件 监控 信息 可 自动 检测 并 上 报 ， 监 控 指标 包括 CPU、 内 
存 、 磁 盘 IO、 网 络 带 宽 和 物理 设备 的 静态 硬件 信息 。 
即 插 即 用 方便 系统 的 扩容 ， 减 轻 人 为 操作 带 来 的 误 操 作风 险 ， 并 
大 大 减少 系统 扩容 的 时 间 ， 满 足 业务 的 快速 扩容 上 线 。 

服务 器 的 自动 化 发 现 流程 如 图 8-8 所 示 。 

本 地 资源 管理 由 物理 机 管理 、 网 络 管理 、 模 板 / 镜 像 管 理 、PXE 
Server、PXE Client 共 同 完 成 物理 机 的 自动 部 署 。 

” 物理 机 管理 : 负责 物理 机 的 发 现 ， 通 过 IPMI 协 议 设 置 BOIS 启 
动 方式 、 控 制 上 /下 电 ; 按 物理 机 硬件 配置 进行 池 化 管理 ， 根 
据 租户 请 求 选择 合适 的 物理 机 进行 发 放 。 

” 网 络 管理 : 自动 配置 物理 机 所 在 的 接 入 交换 机 和 汇聚 交换 
机 ， 使 物理 机 接 入 租户 的 指定 网 络 ， 与 其 他 物理 机 或 虚拟 机 
互通 。 

” DHCP Server: 自动 分 配 物 理 机 IP 地 址 ， 以 实现 物理 机 与 本 地 
资源 管理 通信 。 

> PXE Server/PXE Client: 通过 PXE 协 议 控制 物理 机 自动 安装 租 
户 指定 操作 系统 。 

~ TFTP Server: 提供 SimpleOS 下 载 服务 。 


本 地 资源 管理 


物理 机 管理 网 络 管理 
Erle 


TFTP/PXE 


PXE Client BMC 


TFTP Server 


图 8-8 ”服务 器 的 自动 化 发 现 流程 


” SMM: 机 框 管理 单元 。 

” BMC: 服务 器 管理 单元 。 

其 具体 流程 如 下 。 

” 步骤 1: 服务 器 接 入 系统 后 ， 系 统 通过 机 框 管理 单元 以 网 络 启 


SS 


到 


动 ， 并 重启 服务 器 。 

步骤 2: 服务 器 重启 后 ， 发 送 DHCP 请 求 ，DHCP 服 务 器 在 收 到 
DHCP 请 求 后 ， 发 送 给 物理 机 分 配 IP 地 址 的 DHCP 回 应 包 ， 内 
容 包 括 物 理 机 的 IP 地 址 、TFTP 服 务 器 的 IP 地 址 和 开机 启动 文 
件 。 

步骤 3: 服务 器 通过 TFTP 通 信 协 议 从 系统 下 载 开 机 启动 文件 和 
定制 的 简单 操作 系统 ， 并 在 内 存 中 完成 该 定制 操作 系统 的 安 
装 和 启动 。 

步骤 4: 通过 新 安装 的 定制 操作 系统 获取 服务 器 静态 信息 ( 包 
括 CPU、 内 存 规 格 、 版 本 和 网 络 地 址 信息 ) 。 

步骤 5: 将 新 发 现 服务 器 的 监控 信息 上 报 给 系统 呈现 ， 并 将 服 
务 器 状态 标记 为 就 绪 状态 ， 方 便 用 户 查找 和 申请 物理 机 服 


务 。 


服务 器 自动 化 部 署 如 图 8-9 所 示 。 
本 地 资源 管理 由 物理 机 管理 、 网 络 管理 、 模 板 /镜像 管理 、PXE 
Server、 PXE a et 自动 部 署 。 

” 物理 机 管理 : 通过 IPMI 协 议 设 置 BOIS 启 动 方式 、 控 制 上 /下 
电 ; et ea 根据 租户 请 求 选择 合 
适 的 物理 机 进行 发 放 。 

”~ 网 络 管理 : 自动 配置 物理 机 所 在 的 接 入 交换 机 和 汇聚 交换 
机 ， 使 物理 机 接 入 租户 指定 网 络 ， 与 其 他 物理 机 或 虚拟 机 互 
通 。 

”DHCP Server: 自动 分 配 物 理 机 IP 地 址 ， 以 实现 物理 机 与 本 地 
资源 管理 通信 。 

> PXE Server/PXE Client: 通过 PXE 协 议 控 制 物理 机 自动 安装 租 
户 指 定 操作 系统 。 


本 地 资源 管理 


图 8-9 ”服务 器 自动 化 部 署 


~ TFTP Server: 提供 引导 程序 下 载 服 务 。 

” HTTP Server: 提供 操作 系统 镜像 下 载 服 务 。 

其 具体 流程 如 下 。 

~ 步骤 1: 用 户 申 请 物理 机 后 ， 资 源 闻 管理 通过 BMC 口 设置 从 网 
络 启动 ， 并 重启 物理 机 。 

~ 步骤 2: 物理 机 重启 后 ， 发 送 DHCP 请 求 ，DHCP 服 务 器 在 收 到 
DHCP 请 求 后 ， 发 送 给 物理 机 分 配 IP 地 址 的 DHCP 回 应 包 ， 内 
容 包 括 物 理 机 的 IP 地 址 、TFTP 服 务 器 的 IP 地 址 和 开机 启动 文 
件 。 

”步骤 3: 物理 机 通过 TFTP 通 信 协 议 从 服务 器 下 载 开 机 启动 文 
件 。 启 动 文件 接收 完成 后 ， 将 控制 权 转 交 给 启动 块 ， 完 成 
PXE 启 动 。 

~ 步骤 4: 启动 块 从 镜像 管理 下 载 操 作 系统 镜 像 到 物理 机 ， 启 动 
操作 系统 镜像 ， 自 动 完成 操作 系统 安装 。 


8.3.2 ”服务 器 自动 化 


资源 闻 管 理 模 块 负责 处 理 用 户 的 服务 部 署 要 求 ， 实 现 部 署 和 配置 
自动 化 。 可 根据 服务 对 应 的 资源 容量 、 规 格 、QoS 要 求 ， 自 动 完 成 x86 
服务 器 、 小 型 机 、 存 储 设 备 、 网 络 设备 、 虚 拟 机 等 的 自动 部 署 和 配 
置 ， 也 能 够 完成 数据 库 、 中 间 件 、 应 用 软件 、 系 统 补丁 等 自动 化 安 
半 、 配 置 。 

从 裸 机 到 应 用 的 全 流程 的 自动 化 部 署 文 持 如 下 服务 。 

” 操作 系统 部 署 : 支持 Windows、Redhat、Suse、Ubuntu 等 操作 

系统 自动 部 署 。 


” 软件 安装 : 支持 数据 库 、Web 中 间 件 、JDK、 应 用 软件 等 软件 
自动 安装 ， 可 以 在 物理 机 申请 时 和 申请 后 安装 。 

”更 新 操作 系统 补丁 : 物理 机 部 署 操 作 系 统 后 ， 操 作 系统 如 果 
有 新 的 补丁 ， 用 户 可 以 选择 自动 化 更 新 补丁 。 


操作 系统 自动 化 


服务 器 操作 系统 自动 部 署 通过 PXE 机 制 实现 ， 完 成 卫 分 配 、 操 作 
系统 安装 、 操 作 系 统 补 丁 安 疼 ， 总 体 方案 如 图 8-10 所 示 。 


资源 池 管 理 


局 动 文件 镜像 服务 


图 8-10 “总体 方 案 


其 具体 流程 如 下 。 
” 步骤 1: 用 尸 申 请 物理 机 后 ， 资 源 池 管理 通过 BMC 口 设置 从 网 


络 启动 ， 并 重启 物理 机 。 


” 步骤 2: 物理 机 重启 后 ， 发 送 DHCP 请 求 ，DHCP 服 务 器 在 收 到 
DHCP 请 求 后 ， 发 送 给 物理 机 分 配 IP 地 址 的 DHCP 回 应 包 ， 内 
容 包 括 物理 机 的 IP 地 址 、TFTP 服 务 器 的 IP 地 址 和 开机 启动 文 
件 。 

” 步骤 3: 物理 机 通过 TFTP 通 信 协 议 从 服务 器 下 载 开 机 启动 文 
件 。 启 动 文件 接收 完成 后 ， 将 控制 权 转 交 给 启动 块 ， 完 成 
PXE 启 动 。 

” 步骤 4: 启动 块 从 镜像 管理 下 载 操 作 系统 镜 像 到 物理 机 ， 启 动 
操作 系统 镜像 ， 自 动 完成 操作 系统 安装 。 


软件 安装 /更 新 


数据 库 、 中 间 件 、 应 用 软件 等 安 蔷 /更 新 部 署 的 自动 化 方案 如 图 8- 
11 所 示 。 
自动 化 具体 流程 如 下 。 
”步骤 1: 物理 机 部 署 成 功 后 ， 物 理 机 上 的 软件 安装 代理 ( 注 : 
制作 物理 机 镜像 时 ， 已 经 将 软件 安装 代理 包含 在 物理 机 镜像 
中 ) 自动 向 资源 池 管 理发 起 注册 。 


软件 镜像 服务 


(1) 注册 


(2) 下 发 软件 安装 指令 FTP 服 务 


» (4) 安装 软件 包 


物理 机 


图 8-11 数据库、 中 间 件 、 应 用 软件 等 安装 /更 新 部 署 的 自动 化 方案 

”步骤 2: 资产 池 管理 向 软件 安 闭 代理 推送 软件 安 半 指令 。 软 件 
安装 指令 中 描述 了 从 哪里 获取 软件 包 、 软 件 包 安装 命令 和 安 
六 参数 。 

” 步骤 3: 软件 安装 代理 连接 软件 镜像 服务 器 ， 通 过 FTP 下 载 软 
件 包 。 为 了 保证 软件 包 下 载 的 可 靠 性 ， 支 持 下 载 断 点 续 传 ， 
失败 重 试 。 

”步骤 4: 通过 代理 执行 软件 安装 /命令 进行 软件 安装 。 


云 管理 的 硬件 异 构 包括 服务 器 异 构 、 存 储 设备 异 构 和 网 络 设备 异 
构 。 不 同 厂 商 的 设备 接口 存在 较 大 的 差 蛋 ， 那 么 怎样 快速 、 简 单 地 接 


入 不 同 设 备 是 资源 管理 优先 考虑 的 问题 ( 见 图 8-12) 。 

异 构 硬 件 通过 插件 技术 ， 可 以 在 不 需要 升级 版 本 的 情况 下 ， 通 过 
适 配 方式 支持 ， 业 务 可 不 受 影 响 。 硬 件 资源 管理 系统 从 逻辑 上 分 为 三 
层 ， 分 别 为 O&M 应 用 服务 层 、 设 备 适 配 层 和 设备 通信 层 。O&M 应 用 
服务 层 对 外 提供 硬件 资源 操作 管理 维护 的 接口 ; 设备 适 配 层 负责 封装 
对 人 硬件 资源 的 监控 和 业务 配置 操作 ， 对 上 提供 统一 的 服务 接口 ， 屏 下 
与 异 构 设 备 的 通信 协议 差异 ; 设备 通信 层 负责 实现 与 设备 的 通信 ， 实 
现 设备 信息 的 查询 和 配置 命令 的 下 发 。 对 外 提供 Web 形式 的 操作 维护 
平台 ， 用 户 可 通过 Web 浏 览 器 进行 远程 管理 ， 同 时 对 外 提供 开放 统一 
的 REST 北 向 接口 ， 提 供 硬件 资源 监控 和 业务 配置 接口 。 


存储 设备 


图 8-12 ”硬件 资源 管理 

服务 器 接口 协议 支持 IPMI、SSH、SNMP， 存 储 设备 接口 协议 支持 
TLV、SMI-S， 网 络 设备 接口 协议 支持 SSH、SNMP。 

服务 器 的 配置 信息 包括 名 称 、 人 位置、 管理 了 地 址 、BIOS、CPU 主 
频 、 个 数 、 内 存 大 小 、 硬 盘 容 量 、 网 卡 个 数 、 网 口 个 数 。 

交换 机 的 配置 信息 包括 人 位置、 交换 机 管理 耳 地 址 、 型 号 、 类 型 、 


存储 设备 的 配置 信息 包括 存储 设备 位 置 、 产 品 型 号 、 状 态 、 管 理 
IP 地 址 、 磁 盘 数量 

服务 器 设备 的 维护 包括 上 电 ， 下 电 ， 安 全 重启 ， 安 全 下 电 ， 强 制 
下 电 ， 进 入 维护 模式 ， 退 出 维护 模式 ， 一 键 式 上 电 、 下 电 所 有 服务 
器 。 

对 于 异 构 的 物理 设备 ， 系 统 提供 强大 完备 的 监控 能 力 ， 可 以 呈现 
es 
器 的 CPU、 内 存 和 磁盘 占用 率 、 网 络 设备 的 流量 、 存 储 设备 的 IOPS 
等 。 


异 构 物理 设备 的 故障 告警 支持 对 各 类 设备 的 告警 进行 统一 呈现 和 
统一 操作 ， 如 人 磁盘、 风扇 故障 告警 、 温 度 过 高 告警 、 设 备 离线 告警 
等 。 

8.5 iv 理 


服务 目录 管理 是 指 根 据 目 录 类 别 对 资产 服务 进行 分 级 管理 和 显 

示 。 根 据 应 用 场景 ， 服 务 目录 分 为 以 下 两 部 分 。 
” 服务 申请 : 给 管理 员 提 供用 户 目 助 管 理 界面 ， 管 理 员 可 以 一 
键 式 快速 创建 应 用 ， 还 可 以 方便 查看 应 用 的 部 署 报告 和 创建 


进度 。 
ee 发 布 、 修 改 、 删 除 、 碍 询 
和 导入 导出 ， 支持 分 级 目录 管 ; 监控 应 用 上 明志; 监控 应 用 


运行 情况 和 变更 ， 便 于 管 ee 


8.5.1 ”应 用 发 布 流程 介绍 


服务 目录 为 用 户 提供 了 方便 的 、 获 取 资 源 的 途径 ， 用 户 可 以 通过 
服务 目录 自动 化 获取 资源 ， 并 在 资源 上 部 署 用 户 需要 的 应 用 。 

业务 管理 员 在 得 到 系统 管理 员 授 权 后 ， 可 以 自助 进行 服务 发 放 和 
管理 。 业 务 管 理 员 可 以 目 定 义 服务 模板 ， 灵 活 部 署 服务 ， 并 且 可 以 共 
享 模板 。 

云 管理 平台 提供 用 户 自 助 门户 访问 服务 模板 目录 ， 可 以 根据 服务 
模板 创建 应 用 、 管 理发 放 应 用 的 功能 〈 见 图 8-13) 。 


图 8-13 ”应 用 发 布 流程 


” 模板 准备 
管理 员 可 以 根据 企业 不 同 的 应 用 需求 ， 上 传 并 管理 应 用 的 软件 
包 ， 为 应 用 服务 模板 的 设计 提供 应 用 软件 组 件 。 


” 创建 服务 目录 

管理 平台 通过 服务 目录 来 管理 不 同 的 应 用 模板 ， 通 过 服务 目录 做 
分 类 处 理 ， 便 于 后 续 的 统一 维护 和 管理 。 

” 制作 应 用 模板 

对 于 应 用 模板 的 制作 ， 业 界 目前 有 两 种 方式 : 伪 编 程 模式 和 拖 搜 
交互 式 。 伪 编程 模式 ， 通 过 管理 平台 提供 的 大 量 接口 ， 可 以 灵活 地 实 
现 业务 人 逻辑 和 应 用 关系 ， 但 是 对 管理 员 要 求 较 高 ， 需 要 ee 
论 和 实践 学 习 ; 拖 搜 交互 式 ， 将 应 用 制作 过 程 模块 化 、 简 单 化 ， 通 
工具 在 画 ee 
管理 员 要 求 低 ， 可 以 快速 入 手 。 

随 着 云 计 算 走 进 中 小 企业 ， 拖 搜 式 交互 是 云 管理 应 用 部 署 的 发 展 
方向 ， 所 以 本 文通 过 这 种 方式 来 说 明 应 用 的 部 署 。 

应 用 部 署 模板 设计 工具 提供 用 户 可 视 化 设计 ， 用 户 可 以 简单 地 通 
过 在 画布 上 拖 搜 的 方式 ， 方便 快 捷 地 完成 应 用 部 署 模板 的 设计 ( 见 图 


RE 
8-14)。 同 时 通过 资源 间 的 连 线 ， 用 户 可 以 方便 地 定义 应 用 中 的 资源 依 
赖 关 系 ， 然 后 用 户 就 可 以 通过 设计 好 的 模板 发 放 应 用 了 。 
M 模 板 : 网 络 。 子 网 定义 ， 或 者 ELB 等 服务 
人 OS， 忆 林 册 人 全 所 用 效 作 有 时 
VM VM 一 一 一 一 和 
模板 模板 ! 
1 Wf 
Os Os 证 
1 
1 
~ 
“Se 1 
N NU 1 
ee 1 
习 |， 拖 搜 
拖 搜 ~ 
\ ~、 
全 -大 1 介 全 策略 ， 定义 学 人 从 组 的 他 纺 生 
EE 二 二 过 ui ee 标 ， 初始 大 小 ， 扩 缩 条 件 与 步 长 
二 - 1 六 
各 ! \ 
Am 1 3 Ea 
; es 
Wy am juntxx /车 细 
志 二 二 双 网 元 草 二 辣 交 大 二 天 本 软件 包 ， 软 件 包 以 及 软件 包 安装 、 初 始 化 、 
i ee 启动 、 停 上 等 控制 命令 的 集合 


图 8-14 ”应 用 部 署 模板 设计 工具 

服务 模板 由 虚拟 机 模板 、 软 件 包 、 网 络 和 伸缩 组 等 构成 ， 虚 拟 机 
模板 中 可 以 定义 初始 化 命令 、 启 动 命令 和 停止 命令 。 软 件 包 中 可 以 定 
义 安 装 命令 、 绚 载 命 令 、 启 动 命令 和 停止 命令 。 伸 缩 组 中 可 以 定义 伸 
缩 策略 。 

” 应 用 实例 发 布 

其 提供 用 户 自 助 门户 访问 服务 模板 目录 ， 一 键 式 快速 创建 应 用 以 
及 查看 应 用 的 部 署 报告 和 创建 进度 。 

业务 管理 员 通 过 自助 门户 访问 服务 模板 目录 ， 根 据 应 用 需求 选择 
相应 的 服务 模板 ， 配 置 应 用 网 络 以 及 选择 应 用 的 管理 员 ， 快 速 部 署 应 
用 。 在 应 用 部 署 过 程 中 ， 业 务 管理 员 可 以 查看 应 用 部 署 报告 和 实时 进 
度 。 

在 应 用 部 署 中 ，VM 的 创建 和 软件 分 发 流程 如 图 8-15 所 示 。 


部 署 部 署 
服务 软件 仓库 代理 
(Repository) 
SUSE Windows 


kA 创建 虚拟 机 
Wy © 业务 VM 


虚拟 机 创建 流程 


下 发 安装 任务 i 
部 团 软件 仓库 可 
四 LithE sD 
py 下 载 软件 
SUSE Se Windows 
云 管理 业务 VM 
| 三 加 一 PE 到 一 
软件 包 安装 流程 


图 8-15 VM 的 创建 和 软件 分 发 流程 


应 用 软件 自动 部 署 原理 


” 部 署 服 务 根据 应 用 模板 中 定义 的 虚拟 机 和 网 络 关 系 以 及 虚拟 
机 模板 创建 业务 虚拟 机 并 分 配 网 络 ， 业 务虚 拟 机 创建 完成 
后 ， 操 作 系统 即 安装 完成 。 

” 业务 虚拟 机 上 已 经 安装 了 部 署 代理 (部署 代理 在 制作 虚拟 机 
模板 的 过 程 中 被 制作 到 模板 当中 ， 因 此 虚拟 机 创建 出 来 后 部 


署 代理 已 经 在 运行 ) 。 部 署 代 理 启 动 后 ， 会 与 部 署 服务 通 
信 ， 部 署 服务 将 安装 任务 推送 给 部 署 代 理 。 

> 部 署 代 理 根 据 安装 任务 ， 去 软件 仓库 (Repository) 中 下 载 对 
应 的 软件 ， 然 后 进行 安装 。 


8.5.2 ”应 用 管理 原理 


应 用 管理 提供 用 户 管理 发 放 的 应 用 的 功能 ， 包 括 管理 应 用 的 生命 
周期 、 查 看 应 用 的 监控 日 志 以 及 通过 应 用 拓扑 实时 查看 和 管理 应 用 内 
部 虚拟 机 、 网 络 等 。 


应 用 管理 包括 : 
” 管理 应 用 生命 周期 ， 提 供 管 理 员 对 应 用 进行 局 用、 挂 起 、 修 
改 和 删除 ; 


> 应 用 监控 日 志 ， 提 供 管理 员 监管 应 用 运行 情况 和 变更 操作 的 
功能 ， 便 于 管理 员 及 时 发 现 和 定位 应 用 故障 ; 
> 应 用 拓扑 管理 ， 管 理 员 可 以 可 视 化 地 查看 应 用 内 部 的 组 网 结 
构 ， 管 理应 用 虚拟 机 。 
在 企业 实际 使 用 中 ， 应 用 会 周期 出 现 业务 量 的 上 升 和 下 降 ， 比 如 
第 三 方 支付 应 用 ， 在 圣诞、 新 年 等 重大 节日 前 ， 业 务 量 会 比 平时 增加 
几 倍 。 所 以 ， 应 用 发 布 后 ， 怎 样 支持 业务 的 弹性 伸缩 ， 是 企业 IT 运 维 
部 门 考虑 的 重点 。 
从 企业 应 用 的 场景 看 ， 弹 性 伸缩 可 以 分 为 三 类 。 
> 组 内 自动 伸缩 策略 : 针对 单独 的 应 用 而 言 ， 可 根据 应 用 当前 
的 负载 动态 调整 应 用 实际 使 用 的 资源 ， 当 应 用 资源 负载 较 高 
时 ， 自 动 添加 虚拟 机 并 且 安装 应 用 软件 ; 当 应 用 的 资源 负载 
很 低 时 ， 自 动 释放 相应 的 资源 。 


” 组 间 资 源 回 收 荣 略 : 当 系统 资源 不 足 的 情况 下 ， 系 统 可 以 根 
据 组 间 设 置 的 资产 复 用 梨 略 ， 使 优先 级 高 的 应 用 使 用 资源 ， 
使 优先 级 低 的 应 用 释放 资源 。 

” 时 间 计 划 策 略 : 时 间 计 划 策 略 允 许 用 户 对 于 不 同 的 应 用 实现 
资源 的 分 时 复 用 。 用 户 可 以 设置 计划 策略 ， 使 得 不 同 的 应 用 
分 时 段 地 使 用 系统 资产 ， 比 如 白天 让 办 公用 户 的 虚拟 机 使 用 
系统 资产 ， 到 了 晚间 可 以 让 一 些 公 共 的 虚拟 机 占用 资产 。 


服务 运 维 模块 提供 统一 的 服务 管理 流程 和 支撑 功能 ， 实 现 运 维 管 
理 人 员 对 日 常服 务 运 维 的 集中 管理 。 系 统 将 服务 运 维 管理 数据 集中 整 
合 ， 并 以 适当 的 形式 呈现 ， 支 持 维护 人 员 进 行 运 维 故障 定位 、 诊 断 和 
解决 等 运 维 活 动 ， 为 运 维 管理 提供 基本 信息 。 服 务 运 维 模块 的 建设 目 
标 包括 以 下 几 点 。 
>” 以 ITIL V3 为 基础 开展 服务 运 维 管理 ， 推 广 IT 服 务 管理 理念 。 
从 管理 要 求 和 技术 手段 两 个 层面 提高 信息 化 的 工作 效率 和 服 
务 水 平 ， 从 而 满足 日 益 增 长 的 信息 技术 和 服务 的 需求 ， 提 高 
响应 效率 ， 促 进 用 户 满意 度 提升 。 
> 通过 优化 运 维 管理 体系 ， 明 确 IT 服 务 管理 体系 组 织 结构 和 相 
应 的 岗位 和 职责 ， 对 IT 系统 及 相关 资源 进行 集中 、 统 一 、 真 
实 、 有 效 的 管理 。 
” 对 现 有 的 IT 运 维 体系 进行 梳理 并 实施 规范 化 的 流程 设计 。 执 
行 完善 的 事件 、 服 务 请 求 、 变 更 、 配 置 、 信 息 发 布 管理 流 
程 。 通 过 上 述 流程 的 建设 和 推广 ， 后 续 可 以 逐步 将 条 服务 运 
维 管 理 不 断 深化 ， 扩 大 服务 管理 流程 的 实践 范围 。 


” 对 运 维 工作 进行 量化 ， 建 立 配 套 的 衡量 指标 和 日 常 管理 制 
度 ， 实 现 有 效 的 目标 考核 机 制 ， 为 合理 配置 资源 提供 依据 ， 
缩减 运行 成 本 。 
” 提供 集中 整合 的 服务 运 维 管理 数据 ， 为 管理 决策 提供 支持 。 
服务 运 维 模块 实现 的 服务 管理 流程 包括 服务 请 求 管理 、 事 件 管 
理 、 变 更 管理 、 配 置 管理 、 信 息 发 布 管理 ， 各 管理 流程 之 间 紧 密 关 
联 ， 并 与 其 他 模块 及 子 系统 进行 有 效 衔接 。 
” 与 服务 运营 模块 集成 : 服务 运营 模块 面向 用 户 提供 自助 服 
务 ， 当 用 户 提交 的 服务 请 求 、 资 源 变更 涉及 人 工 执行 环节 ， 
或 提交 投诉 建议 、 故 障 申告 时 ， 将 通过 系统 间接 口 发 送 至 服 
务 运 维 的 相关 管理 流程 ， 自 动 创建 工 单 ， 并 将 处 理 状态 、 处 
理 结果 等 返回 服务 运营 用 户 界 面 ， 从 而 形成 端 到 端的 闭环 服 
务 管理 流程 。 
” 与 全 局 资源 管理 模块 集成 : 服务 运营 模块 采用 定时 同步 机 
制 ， 保 证 配置 管理 信息 与 统一 CMDB 的 数据 一 致 性 。 
” 本 地 资源 管理 系统 集成 : 本 地 资源 管 系统 的 告警 会 统一 汇聚 
到 全 局 的 运 维 中 心 ， 运 维 人 员 在 全 局 的 运 维 中 心 内 集中 监控 
资源 的 状态 ， 并 人 处理 各 个 数据 中 心 汇 聚 上 来 的 告警 。 
根据 预定 义 事件 单 生成 规则 ， 全 局 的 运 维 中 心中 的 故障 告警 会 在 
服务 运营 管理 器 中 触发 告警 类 事件 单 的 自动 创建 ， 由 运 维 人 员 按 照 预 
定义 的 事件 处 理 流程 ， 进 行事 件 的 处 理 。 
事件 处 理 流程 结束 了 时， 服务 运营 管理 器 可 以 按照 预定 义 规则 ， 触 
发 本 地 资源 管理 系统 服务 自动 化 部 件 执行 事件 的 自动 恢复 。 


8.7 云 平台 第 三 方 App 资 源 使 用 计量 


资源 使 用 计量 是 指 资 产 池 管理 平台 从 资源 池 系统 或 用 尸 订单 获取 
用 户 资源 使 用 信息 ， 并 根据 用 户 使 用 资源 信息 生成 资源 使 用 计量 文 
件 。 资 源 使 用 计量 可 以 按照 资源 类 别 、 业 务 系统 和 用 户 总 拥有 资源 进 
行 汇总 统计 。 计 量 文件 可 以 给 统计 分 析 等 模块 提供 信息 ， 用 于 用 户 资 
源 使 用 信息 的 展示 、 统 计 及 分 析 等 。 

计量 话 单 包括 计 次 话 单 、 审 计 话 单 、 负 载 均衡 流量 话 单 和 弹性 IP 
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” 计 次 话 单 : 在 用 户 进行 虚拟 机 、 块 存储 、 备 份 和 各 类 网 络 资 
源 的 申请 、 修 改 、 释 放 、 冻 结 和 解冻 等 操作 时 ， 记 录 相 关 信 
息 到 文件 ， 然 后 发 送 给 话 单 服务 器 ， 生 成 用 户 话 单 。 其 包括 
的 信息 有 : 话 单 长 度 、 流 水 号 、 话 单 类 型 、 服 务 类 型 、 资 源 
标识 、 操 作 标 识 、 操 作 时 间 、 资 源 信 息 等 。 

”~ 审计 话 单 : 是 对 计量 话 单 的 补充 ， 在 计 次 信息 遗漏 时 ， 为 计 
费 提供 依据 。 这 些 话 单 可 以 协助 计 费 中 心 实现 按时 段 收费 、 
对 账 等 ， 审 计 对 象 包括 实例 运行 时 间 、 存 储 使 用 时 间 、 弹 性 
IP 占 用 时 间 等 ， 其 包括 的 信息 有 话 单 长 度 、 流 水 号 、 话 单 类 
型 、 服 务 类 型 、 资 源 标 识 、 操 作 标 识 、 操 作 时 间 、 审 计 信息 
等 

> 负载 均衡 流量 话 单 : 系统 定时 记录 每 个 负载 均衡 器 的 流量 信 
息 到 文件 ， 然 后 发 送 给 话 单 服务 器 ， 用 于 生成 用 户 话 单 。 其 
包括 的 信息 有 : 创建 时 间 、 报 文 个 数 、 报 文 信息 列表 ( 含 流 
量 字 节 数 ) 等 。 

” 弹性 IP 流 量 话 单 : 系统 实时 收集 来 自 网 络 的 弹性 耻 流 量 信息 ， 
记录 到 文件 ， 然 后 发 送 给 话 单 服务 器 ， 生 成 用 户 话 单 。 其 包 


括 的 信息 有 : 创建 时 间 、 报 文 个 数 、 报 文 信息 列表 〈 含 流量 
字 节 数 ) 等 。 


8.8 ” 云 管 理 的 应 用 案例 
8.8.1 M 运 营 商 私有 云 建设 
客户 简介 


M 运 营 商 是 一 家 大 型 网 络 的 移动 通信 运营 商 ， 资 产 规模 超过 万 亿 
元 人 民 币 ， 拥 有 全 球 领先 的 网 络 和 客户 规模 。 其 主要 经 营 移动 话音 、 
数据 、IP 电 话 和 多 媒体 业务 ， 并 具有 计算 机 互联 网 国际 联网 单位 经 营 
权 和 国际 出 入 口 局 业务 经 营 权 。 除 提供 基本 话音 业务 外 ， 其 还 提供 传 
真 、 数 据 、IP 电 话 等 多 种 增值 业务 。 


背景 


M 运 营 商 是 中 国 云 计 算 的 先行 者 和 积极 倡导 者 。2007 年 启动 了 云 
计算 的 研究 项 目 。2011 年 12 月 正式 发 布 了 个 人 云 服务 ， 是 国内 最 早 进 
行 云 计算 研究 和 实践 的 单位 之 一 。M 运 营 商 在 云 计 算 研 发 、 规 划 和 建 
设 以 及 对 云 计 算 的 商业 部 署 和 推广 等 方面 均 投入 巨大 。 云 计算 业务 在 
企业 内 部 私有 云 和 各 业务 基地 进行 广泛 的 商业 部 署 和 应 用 ， 并 且 在 多 
个 政 企 客户 处 实现 了 落地 。M 运 营 丙 计划 建设 专业 的 云 计 算 中 心 ， 进 
一 步 加 强 云 计算 方面 的 研发 与 创新 能 力 ， 同 时 不 断 加 大 投入 ， 积 极 布 
局 云 计算 基础 设施 。 为 满足 云 计算 的 发 展 ， 其 在 原 有 规划 的 广东 、 北 
汞 等 大 型 基地 的 基础 上 ， 投 入 数 百 亿 元 的 资金 在 哈尔滨 、 呼 和 浩特 等 


地 建设 大 规模 数据 中 心 。 这 些 数据 中 心 将 采用 模块 化 设计 、 新 型 供电 
和 制冷 、 定 制 化 的 服务 器 等 新 技术 ， 实 现 高 效 绿 色 的 云 计 算 服 务 。 随 
着 多 地 云 计 算数 据 中 心 的 建成 ，M 运 营 商 加 快 部 署 、 全 力 推动 云 计 算 
的 全 面 商 用 。M 运 营 商 云 计算 采用 双 云 多 闻 、 集 中 管理 、 分 散 部 署 的 
原则 进行 规划 。 双 云 即 公 共 服 务 云 和 企业 私有 云 两 大 云 计 算 平台 ， 多 
池 即 每 个 云 计算 平台 都 在 全 国 建 设 多 个 资产 地 ， 为 了 提高 管理 效率 ， 
公共 服务 云 和 企业 私有 云 都 需要 建设 集中 的 运营 管理 平台 。 


解决 方案 


M 运 营 商 提供 统一 的 虚拟 化 和 资源 闻 管 理 ， 集 成 HUAWEI、 
IBM、HP、Fujitsu、Cisco、Juniper 等 8 个 厂商 的 芽 设备; 提供 统一 云 管 
理 运营 平台 ， 管 理 天 津 私 有 云 、 广 东 基 地 公有 云 和 北京 云 计算 资源 
闻 ， 实 现 弹 性 调度 。 

其 一 期 建设 2000 台 服务 器 规模 ，5PB 存 储 规模 ， 业 务 主 要 有 内 部 
电子 邮件 系统 、 数 字 档 案 系 统 、 支 撑 网 测试 平台 、 统 一 知识 社区 、 网 
管 支撑 系统 、MC 口 信 令 监测 系统 、 数 据 业 务 监测 与 分 析 系 统 、 信 息 安 
全 系统 、 骚 扰 电话 监控 、 虚 假 主 叫 监 控 、 手 机 恶意 软件 监控 、 垃 圾 短 
信和 监控 、 不 恨 信息 监控 等 。 

M 运 营 商 选择 云 平台 的 主要 特点 具体 如 下 。 

(1) 高 性 价 比 : 高 性 能 ， 价 格 合 理 。 

(2) 安全 可 靠 : 虚拟 化 平台 支持 HA、 容 灾 、 双 活 数据 中 心 等 能 
力 ， 自 动 实 现 业 务 的 容 灾 和 备份 ， 在 业务 的 升级 和 例 行 维护 中 ， 可 以 
有 效 利 用 虚拟 化 平台 的 热 迁 移 功能 ， 实 现 业 务 不 中 断 。 


(3) 运营 简捷 高 效 : 可 视 化 管理 ， 统 一 集中 管理 ， 降 低 运营 


本 。 
客户 收益 


M 运 营 商 通过 实现 业务 平台 和 IT 硬件 资源 的 解 耦 以 及 在 一 台 物 理 
机 上 运行 多 个 虚拟 机 和 应 用 ， 改 变 了 一 个 应 用 独占 一 台 服 务 器 的 低 效 
业务 烟 向 模式 。 如 此 一 来 ， 其 将 大 幅 提 升 IT 资 源 利 用 率 ， 实 现 资源 动 
人 态 分 配 ， 缩 短 业务 发 布 时 间 ， 可 以 帮助 M 运 营 商 从 容 应 对 市 场 的 快速 
变化 。 

” 解决 原 有 EDC 容 量 瓶 颈 ， 建 设 虚 拟 化 弹性 资源 地， 实现 信息 

有 效 管控 。 
” 工程 节省 投资 的 30%。 
” 业务 上 线 由 原来 的 一 个 月 缩短 到 2 天 。 


8.8.2 ”TT 运 营 商 分 布 式 数据 中 心 


T 运 营 商 是 一 家 面向 全 球 提供 通信 、 互 联网 等 综合 性 服务 的 国际 电 

信 公 司 。T 运 营 商 为 40 多 个 国家 的 客户 提供 服务 ， 是 世界 最 大 的 电信 运 

营 商 之 一 。 早 在 2010 年 ，T 运 营 商 已 经 把 云 化 作为 其 战略 目标 ， 将 核心 

业务 向 云 计算 推进 ， 希 望 实 现 全 球 业务 云 化 整合 的 目标 。 然 而 ， 经 过 

几 年 的 建设 ， 云 并 没有 给 T 运 营 商 融 来 显著 的 商业 机 遇 ， 传 统 电信 业务 

的 成 本 居 高 不 下 ，VDI、SaaS 等 新 型 云 业务 基本 处 于 停 灌 状 态 ， 传 统 
的 优势 地 位 正 受到 竞争 对 手 的 严重 挑战 。 

” 云 业务 价格 过 高 ， 现 今 主流 的 云 平台 ， 如 许多 知名 厂商 都 鼓 

吹 其 拥有 强大 的 能 力 ， 能 够 带 来 高 效 的 资源 利用 率 。 而 实际 


上 ， 引 入 云 的 另 一 面 是 高 昂 的 维护 和 协调 成 本 ， 将 推 高 业务 
成 本 。 

” 云 业 务 产 业 链 不 完善 ， 由 于 缺乏 统一 规划 ， 零 散 的 VDI、 云 主 
机 或 大 量 的 SaaS 业 务 很 难 形成 完全 产业 链 ， 商 业 模 式 的 差异 
以 及 市 场 的 变化 使 得 云 业务 难以 达成 商业 战略 意义 。 

”新 业务 上 线 时 间 过 长 ， 以 一 个 云 主 机 出 租 业 务 为 例 ， 从 市 场 
调研 、 需 求 分 析 、 模 型 设计 、 开 架构 部 署 到 最 后 业务 上 线 ， 
通常 要 经 历 6~9 个 月 的 时 间 。 

>” 新 业务 上 线 需要 太 多 时 间 ，IT 系 统 对 问题 的 响应 时 间 过 慢 ， 
尤其 是 对 跨 地 域 、 跨 平台 的 网 络 问题 不 能 及 时 解决。 

~ IT 投入 过 高 ， 据 统计 ， 每 年 IT 投入 (包括 Capex 和 Opex) 占 工 
运营 商 总 收入 的 4% 以 上 ， 约 20 亿 ~23 亿 美元 ， 对 于 电信 业务 
为 核心 的 运营 商 ，IT 的 巨大 投入 导致 内 部 成 本 长 期 处 于 过 高 
的 水 平 ， 阻 碍 了 商业 发 展 。 

云 没有 为 网 络 带 来 实际 的 价值 ， 传 统 的 带宽 出 租 业务 正在 被 新 型 

的 高 价值 业务 冲击 ， 市 场 空间 日 益 萎 缩 ， 云 计算 被 奇 希望 去 改变 这 种 
趋势 ， 然 而 当前 的 运营 商 并 没有 获 益 。T 运 营 商 从 对 传统 IT 的 整合 与 改 
造 出 友 ， 以 云 计 算 为 出 发 氮 ， 大 力 推行 云 战略 ， 但 为 何 会 呈现 高 开 低 
走 的 局 面 呢 ? 

我 们 从 流程 和 技术 的 角度 分 析 T 运 营 商 当前 的 现状 。 


组 织 流程 孤立 


T 运 营 丙 当前 的 组 织 架 构 是 烟 奥 式 管 理 方式 ， 从 横向 维度 上 看 ， 每 
个 业务 系统 从 建设 、 维 护 到 管理 都 是 互相 孤立 的 ， 如 M2M、Video 业 务 


等 由 不 同 团队 人 员 维护 ， 商 业 模 式 和 技术 相对 封闭 ; 从 纵向 维度 上 
看 ， 每 个 国家 都 独立 管理 自身 的 业务 ， 缺 乏 有 效 的 沟通 联动 ， 这 造成 
了 资源 的 浪费 ， 经 营 成 本 居 高 不 下 〈 见 图 8-16) 。 


巴西 阿根廷 


水 平 维度 


图 8-16 TT 运 营 商 组 织 架构 
现代 组 织 管理 理念 


只 有 将 人 力 资源 、 各 种 应 用 和 IT 基 础 架构 统一 看 做 资源 池 ， 有 序 
地 实现 跨 地 域 、 跨 平台 的 资源 调度 ， 才 能 将 组 织 的 优势 发 挥 至 最 大 。 


IT 架构 封闭 


在 电信 和 领域， 其 业务 系统 长 期 处 于 较 封闭 的 状态 ， 如 SGSN、 
MME、WAG 等 超过 30 种 的 业务 系统 依然 采用 定制 的 服务 器 。 此 外 ， 由 
于 不 同 阶段 技术 的 演进 ，T 运 营 商 在 欧洲 、 拉 美 等 十 几 个 国家 共 建 设 了 
超过 27 个 不 同 规模 的 数据 中 心 (机房) ， 拥 有 超过 15 000 台 不 同 规格 


的 服务 器 ， 支 持 2 300 余 种 应 用 ，10 多 种 异 构 数据 库 。 图 8-17 为 T 运 莒 
商 分布 式 云 数 据 中 心 。 
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图 8-17 T 运 营 商 分 布 式 云 数据 中 心 
ALL IT ALL ONLINE 战略 


随 着 深入 分 析 ，T 运 营 商 意识 到 传统 电信 和 领域 的 困境 不 会 因为 一 个 
个 孤立 的 IT 升级 或 者 虚拟 化 等 技术 的 引入 就 得 到 解决 ， 相 反 还 会 带 来 
管理 复杂 等 新 问题 ， 因 此 ALL IT ALL ONLINE 战 略 成 为 必然 选择 。 

ALL IT 指 的 是 传统 电信 业务 系统 逐步 zx86 化 ， 首 先 将 原 有 封闭 定制 
的 CT 系统 迁移 至 x86 服 务 器 上 ， 随 后 采用 分 布 式 云 的 架构 将 所 有 资源 
融合 成 为 一 个 “物理 分 散 ， 有 还 辑 统一 ”的 资源 地 ， 从 而 实现 ICT 的 深度 融 

ALL ONLINE 指 的 是 自动 化 的 流程 ， 以 统一 的 管理 平台 作为 流程 
的 载体 ， 面 向 内 外 部 客户 提供 统一 的 服务 入 口 ， 实 现 服务 提供 、 服 务 


保障 和 服务 运营 的 三 足 鼎 立 ， 打 破 现 有 组 织 和 流程 的 割裂 格局 ， 提 升 
管理 效率 ， 实 现 商 业 成 功 。 


在 此 战略 中 ，T 运 营 采 用 了 分 布 式 云 数据 中 心 架 构 ， 将 多 个 不 同 地 
域 、 不 同 阶段 、 不 同 规模 的 数据 中 心 的 所 有 资源 通过 逻辑 集中 ， 统 一 
管理 、 统 一 呈现 、 统 一 运营 ， 从 而 充分 利用 T 运 营 商 己 有 资源 ， 支 撑 
ICT 服 务 能 力 高 速 发 展 。 

(1) 第 一 步 : 数据 中 心 整合 

根据 T 运 营 商 的 实际 业务 情况 ，IT 基 础 架构 需要 满足 其 电信 业务 的 
特点 。 

TIT 运营 商 的 数据 中 心 规划 具体 如 下 。 

~ 3 个 区 域 数据 中 心 : 地 点 位 于 西班牙 、 墨 西 哥 和 巴西 ， 运 行 多 

种 系统 ， 连 接 该 地 区 的 所 有 业务 用 户 。 

”16 个 本 地 数据 中 心 : 集中 式 架 构 ， 运 行 单个 业务 系统 。 

经 过 整合 后 ， 现 仪 存 在 两 种 类 别 数据 中 心 ， 即 备份 与 全 局 应 用 类 
和 和 在线 业务 节点 类 ， 扁 平 化 的 结构 更 利于 全 局 管理 和 调度 。 数 据 中心 
整合 既 保障 了 现 网 业务 的 高 质量 运行 ， 又 为 后 续 建设 资源 闻 建 设 打 下 
了 基础 。 

(2) 第 二 步 : IT 基础 架构 

IT 运营 商 采 用 分 布 式 云 数 据 中 心 的 IT 基础 架构 ， 将 各 类 物理 及 虚拟 
化 基础 设施 、 软 硬 件 资 源 、 人 力 资源 统一 看 做 资源 池 进 行 管理 及 应 
用 ， 实 现 跨 数 据 中 心 的 资源 调度 。 

” 分 布 式 和 虚拟 化 是 核心 

其 针对 T 运 营 商 跨 地 域 的 业务 模型 、 分 布 式 的 IT 架构 ， 拉 通 多 个 站 
点 的 计算 、 存 储 与 网 络 资源 弹性 调度 ， 提 供 对 资源 请 求 者 相对 透明 的 
最 优化 资源 利用 和 调度 。 

” 智能 网 络 方案 是 基础 


其 将 网 络 设备 控制 面 与 数据 面 分 离开 来 ， 以 网 络 操作 系统 的 概念 
使 底层 网 络 设备 的 具体 细节 抽象 化 ， 同 时 还 为 上 层 应 用 提供 统一 的 管 
理 视 图 和 编程 接口 。 这 种 智能 网 络 解决 方案 让 电信 业务 只 需要 对 网 络 
资源 提出 需求 ， 无 需 关心 底层 网 络 的 物理 拓扑 结构 ， 为 核心 网 络 及 应 
用 的 创新 提供 良好 的 平台 ( 见 图 8-18) 。 
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图 8-18 智能 网 络 方案 

” 统一 管理 解决 方案 是 灵魂 

对 于 跨 多 个 云 数据 中 心 站 点 的 所 有 资源 ， 其 实现 全 生命 周期 内 
(包括 自动 化 发 现 与 配置 、 管 理 软 件 安装 部 署 、 资 源 发 放 与 回收 、 业 
务 应 用 软件 部 署 、 资 源 实时 占用 状态 崔 控 、 告 和 警 故障 等 ， 的 全 方位 的 
管理 功能 。 

(3) 第 三 步 : 一 切 皆 为 服务 

虚拟 化 的 数据 中 心 已 经 就 绪 ， 跨 数据 中 心 的 网 络 管道 也 具备 智能 
调度 的 功能 ， 统 一 对 外 提供 服务 成 为 T 运 营 丙 接 下 来 的 核心 任务 。 

统一 的 服务 门户 和 开放 的 API 将 资源 池 转 变 成 一 个 服务 中 心 ， 定 义 
和 公开 服务 目录 ， 让 内 外 客户 按 需 申请 、 使 用 和 退 订 ， 并 精确 地 对 资 


源 进 行 计量 。 此 外 ， 平 台 还 提供 自助 服务 门户 ， 对 用 户 设置 不 同 的 角 
色 ， 根 据 角 色 对 用 户 进行 权限 控制 。 用 户 通 过 一 个 统一 的 门户 网 站 自 
行 选择 服务 目录 ， 快 速 部 署 业务 和 运 维系 统 ， 增 强 管 理 效率 。 

” 区 域 服务 经 理 : 负责 管理 所 有 的 数据 中 心 (DC，Data 
Center) ， 创 建 和 维护 服务 水 平 协议 。 

” 本 地 服务 经 理 : 支持 本 地 数据 中 心 的 运 维 操作 ， 并 提供 本 地 
资源 信息 。 

” 虚拟 数据 中 心服 务 经 理 : 对 每 个 VDC (Virtual Data Center， 
虚拟 数据 中 心 ) 进行 服务 支持 ， 保 障 服务 质量 ， 监 控 和 维护 
管理 工具 。 

(4) 第 四 步 : 服务 自动 化 

服务 的 自动 化 是 T 运 营 商 商业 成 功 的 保障 。 其 采用 Orchestration 软 

件 对 运营 商 执 行 的 日 常任 务 和 职能 进行 编排 。 其 将 协调 服务 器 、 客 户 
端 和 网 络 设备 的 自动 化 解决 方案 ， 从 而 更 快 地 配置 资源 。 服 务 的 自动 
化 将 实现 跨 多 个 应 用 程序 和 工具 ， 以 及 跨 多 个 IT 群体 的 操作 自动 化 ， 
从 而 使 跨 数 据 中 心 的 业务 互联 互通 变 得 更 容易 、 更 快 、 更 可 靠 。 这 里 
流程 的 基本 定义 是 至 关 重 要 的 ， 因 为 T 运 营 商 的 物理 数据 中 心 和 虚拟 数 
据 中 心 内 可 能 都 是 租户 ， 需 要 在 多 租户 环境 下 提供 IT 资产 ， 按 需 分 
配 ， 利 用 流程 来 保障 分 配 过 程 的 有 序 和 可 管理 。 

此 外 ， 服 务 自动 化 还 包含 计 费 管理 、 资 产 和 配置 管理 、 软 件 许可 

管理 、 变 更 和 发 布 管理 、 服 务 台 、 服 务 水 平 管理 系统 等 模块 ， 实 现 目 
动 化 服务 管理 ， 形 成 深入 、 智 能 的 分 布 式 云 数据 中 心 。 


T 运 营 商 收益 


TI 运营 商 借助 本 项 目 ， 规 划 出 未 来 电信 数据 中 心 的 架构 设想 ， 其 最 
大 的 收益 在 于 制度 标准 和 规范 的 制定 ， 其 可 供 全 球 24 个 子 网 使 用 ( 见 
图 8-19) 。 
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图 8-19 TI 运营 商 的 收益 

其 具有 以 下 两 个 优点 。 

” 降低 成 本 : 分 布 式 云 数据 中 心 基 础 以 构 以 标准 化 组 件 、 简 化 
基础 架构 使 得 所 有 的 软 、 硬 件 设施 和 人 力 资源 被 看 做 是 一 个 
统一 的 “逻辑 资源 池 ”， 通 过 全 局 拉 通 来 进行 管理 调度 。 其 从 
根本 上 解决 了 烟 向 式 的 投资 模式 ， 实 现 高 投资 回报 率 。 

” 提升 效率 : 以 业务 为 中 心 实现 流 程 标准 化 、 部 署 模板 化 、 服 
务 自动 化 。 目 前 总 部 可 以 实现 对 全 球 30 多 个 不 同 地 区 的 数据 
中 心 进 行 实时 管理 ， 部 署 新 业务 ， 全 球 数据 中 心 统 一 入 口 ， 
统一 呈现 ， 统 一 管理 ， 这 样 大 大 地 简化 了 管理 ，IT 费 用 占 收 
入 比例 显著 下 降 。 


8.8.3 “新加坡 S 运 营 商 中 小 企业 IT 应 用 托管 


新 加 坡 政府 历来 对 信息 产业 极为 关注 ， 在 其 推动 下 ， 新 加 坡 已 经 
成 为 亚太 地 区 的 电子 商务 中 心 。 为 强化 该 地 位 ， 新 加 坡 政府 启动 了 国 
家 宽带 建设 ， 并 随 之 推出 “政务 云 ”服务 计划 ， 叶 在 进一步 推动 信息 化 
上 发展。 而 新 加 坡 $ 电 信和 运营 商 希 望 借 此 嫌 机 ， 在 云 计算 融 来 的 变 嘻 中 进 
一 步 优 化 产业 结构 ， 推 出 公有 云 服 务 ， 谱 写 云 篇 章 。 


紧 握 时 机 


S 运 营 商 具备 众多 优势， 同时 可 融 来 更 大 的 外 部 影响 。 

首先 ，S 运 营 两 有 建立 公有 云 服务 的 内 部 优势 : 拥有 目 有 的 数据 中 
心 和 网 络 ， 这 正 是 云 计 算 的 基石 ， 拥 有 供电 、 制 冷 、 机 房 等 空余 资源 
可 以 进行 利 旧 应 用 ， 创 造 新 价值 ;借助 新 加 坡 国家 宽带 战略 推动 ，S 运 
营 商 网 络 履 盖 已 达 20 000 座 楼 字 ， 可 实现 对 绝 大 部 分 中 小 型 企业 的 覆 
盖 ， 而 服务 中 小 型 企业 正 符合 新 加 坡 的 国家 战略 需要 。 

其 次 ，S 运 营 商 率先 建立 公有 云 服务 将 市 来 更 多 的 外 部 影响 。IT 企 
业 和 CT 企业 在 云 计 算 领 域 并 无 太 大 差距 ， 快 速 部 署 公 有 云 服务 可 获得 
进入 云 计算 市 场 的 先 发 优 势 ， 在 新 兴 市 场 领域 ， 率 先 实现 业务 应 用 部 
署 ， 有 利于 品牌 建设 ， 此 外 ， 适 大 新 加 坡 开 展 “ 政 务 云 "? 计 划 ，S 运 营 锯 
通过 公有 云 建 设 ， 可 以 发 挥 该 计划 的 试点 作用 ， 增 加 服务 国家 的 机 

因此 ， 从 上 自身 优势 到 外 部 环境 来 看 ，S 运 营 商 建立 公有 云 服 务 的 时 
机 已 经 到 来 。 所 以 ，S 运 营 商 高 层 极 为 重视 ， 均 表示 将 利用 国家 宽带 规 
划 和 政府 推动 信息 产业 发 展 的 机 会 ， 进 入 中 小 企业 市 场 ， 同 时 扩大 业 


务 。 


选择 合作 伙伴 


从 全 球 来 看 ， 运 营 商 建立 公有 云 服务 的 成 功 案例 为 数 不 多 ， 而 市 
场 需求 容 不 得 长 时 间 的 思考 。 因 此 ，S 运 营 商 需要 快速 探索 公有 云 服务 
的 建设 和 运营 模式 。 基 于 此 ，S 运 营 商 对 该 项 目的 合作 伙伴 提出 了 以 下 
要 求 : 必须 具备 快速 集成 交付 能 力 ， 可 以 实现 设备 快速 到 货 并 完成 安 
法 测试 ， 必 须 具备 快速 定制 开发 能 力 ， 解 决 方案 可 以 根据 S$ 运营 商 的 需 
求 量 身 定做 ;必须 拥有 成 熟 的 解决 方案 和 长 期 投入 的 决心 ， 在 ICT 融 合 
转型 过 程 中 积累 丰厚 的 经 验 ， 可 以 更 好 地 帮助 运营 商 转 型 。 


创新 设计 


S 运 营 丙 公有 云 服务 运营 平台 建设 的 第 一 阶段 主要 是 提供 基础 设施 
服务 。 借 助 S 运 营 商 已 有 的 机 房 、 供 电 、 制 冷 等 设施 ， 结 合 华为 提供 的 
服务 器 、 网 络 、 存 储 及 安全 设备 ， 同 时 依靠 华为 自 研 的 FusionSphere 云 
操作 系统 ，S 运 营 商 和 华为 快速 完成 了 公有 云 服务 的 架构 搭建 ， 以 提供 
大 规模 、 高 性 能 的 虚拟 资源 服务 。 

为 保证 该 项 目 快速 成 功 上 线 ，S 运 营 商 和 华为 在 运营 管理 方面 做 了 
很 多 创新 的 方案 设计 ， 尤 其 是 系统 安全 保障 方面 的 创新 。 如 云 主 机 服 
务 商 限制 用 户 最 多 创建 20 个 虚拟 机 ， 来 防止 恶意 用 户 瞬 时 创建 大 量 虚 
拟 机 ， 造 成 系统 瞬时 负载 过 重 。 但 这 种 限制 只 对 大 规格 使 用 者 有 意 
义 ， 对 使 用 小 规格 虚拟 机 、 但 数量 要 求 多 的 使 用 者 ， 该 限制 很 不 合 
理 。 当 用 户 申 请 特殊 规格 虚拟 机 时 ， 这 种 方案 必须 变更 。 因 此 ， 该 方 
案 虽 可 实现 对 系统 的 保护 ， 但 灵活 性 不 足 。 经 过 深入 探讨 ，S 运 营 商 和 
华为 确定 通过 对 用 户 Core ( 核 ) 、Memory (内 存 ) 、Disk (硬盘 ) 三 
个 维度 进行 限制 ， 任 一 维度 超出 限制 即 不 能 创建 虚拟 机 ， 从 根 产 上 保 


证 系统 的 安全 运行 ， 同 时 可 以 保证 使 用 小 规格 虚拟 机 用 户 可 以 申请 更 
多 的 虚拟 机 ， 确 保 将 来 在 规格 限制 内 申请 特殊 规格 虚拟 机 而 不 用 变更 
方案 。 

在 商业 模式 上 ， 为 实现 快速 僵 利 ，S$ 运 营 商 和 合作 伙伴 结合 各 目的 
成 功 经 验 ， 共 同 探讨 出 一 套 灵活 的 销售 模式 。 不 同 于 其 他 企业 不 区 分 
用 户 类 型 ， 统 一 按照 1 个 月 进行 试用 的 模式 ，S 运 营 丙 对 试用 账户 进行 
了 多 种 区 分 ， 既 可 以 让 普通 用 户 充 分 体验 S 运 营 丙 公有 云 融 来 的 民 好 服 
务 ， 又 可 以 给 重点 用 户 提 供 试 用 期 更 长 、 资 源 更 多 的 服务 ， 以 提高 
户 粘 性 。 在 资费 方面 ，S 运 营 商 也 采用 了 灵活 的 方式 ， 如 针对 散户 、 不 
同 套餐 用 户 、VIP 用 尸 等 多 种 不 同类 型 用 尸 制定 了 不 同 的 价格 标准 ， 同 
时 用 户 在 将 试用 账户 转正 式 账户 时 ， 可 随意 变更 套餐 、 终 止 套餐 或 启 
用 新 套餐 ， 实 现 了 虚拟 资源 价值 的 最 大 化 ， 方 便 用 户 使 用 。 


扩大 服务 


目前 ，S 运 营 商 的 IaaS 业 务 已 经 率 和 正式 商用 。 和 攒 借 成 熟 可 靠 的 解 
决 方案 和 运营 模式 ，S 运 营 商 已 经 吸引 了 包括 埃 森 哲 及 新 加 坡 政府 等 高 
端 客户 业务 的 大 规模 迁移 和 入 驻 ， 这 给 S 运 营 商 的 云 计算 服务 带 来 了 极 
佳 的 品牌 效应 。 如 今 ， 不 少 中 小 企业 客户 已 经 或 正在 考虑 租赁 S 运 营 商 
的 虚拟 资源 ， 为 S 运 营 商 的 云 计算 服务 实现 快速 、 规 模 化 运营 和 赢利 打 
下 民 好 基础 。 

但 是 ， 从 未 来 商业 运营 模式 分 析 ， 仅 有 硬件 基础 设施 的 业务 和 服 
务 不 足以 在 云 计 算 领 域 获得 更 大 的 发 展 ， 还 必须 提供 更 多 、 更 优质 的 
软件 应 用 服务 来 协助 中 小 企业 在 运营 商 创 建 的 沃土 上 快速 成 长 ， 形 成 
繁 采 的 生态 链 ， 而 强大 的 聚合 平台 正 是 构建 生态 链 中 最 天 键 的 一 环 。 


面 对 中 小 企业 市 场 低 成 本 、 灵 活 、 多 样 等 多 重 特点 ， 功 能 强大 的 
聚合 平台 必 不 可 少 ， 其 催生 出 的 软件 运营 模式 在 欧美 等 IT 业 发 达 地 区 
已 经 取得 了 良好 的 发 展 。 而 在 新 加 坡 ， 软 件 应 用 服务 却 是 新 生 事 物 。 
新 加 坡 有 超过 18 万 家 企业 ， 其 中 99% 为 中 小 型 企业 。 对 于 这 些 企业 来 
说 ， 一 方面 ， 他 们 面临 资金 短缺 、 技 术 支 持 人 员 流 失 严 重 的 现状 ; 另 
一 方面 ， 又 急需 专业 的 IT 系统 和 服务 帮助 其 降低 运营 成 本 ， 增 强 核心 
苋 争 能 力 。 

软件 应 用 服务 正 是 解决 这 些 矛 盾 的 最 佳 途径 。 用 户 可 以 根据 自己 
的 应 用 需要 从 服务 提供 商 那里 定购 相应 的 软件 应 用 服务 ， 并 且 可 以 根 
据 企业 发 展 的 变化 ， 调 整 所 使 用 的 服务 内 容 ， 具 有 很 强 的 伸缩 性 和 扩 
展 性 ， 同 时 这 些 应 用 服务 所 需要 的 专业 维护 与 技术 支持 也 都 是 由 服务 
商 的 专业 人 员 来 承担 的 。 

S 运 营 商 通过 合作 伙伴 的 协助 ， 在 公有 云 基 础 设施 〈IaaS) 服务 平 
台 为 新 加 坡 政府 进一步 推动 信息 化 发 展 和 助力 中 小 企业 发 展 做 出 贡 
献 。 在 云 计算 的 广阔 领域 中 ， 任 何 企业 都 不 可 能 独 目 实现 全 领域 的 开 
发 建设 。 只 有 合作 ， 才 能 共 赢 ， 只 有 共 谋 ， 才 能 发 展 。 


第 9 章 ” 云 安 全 架构 与 应 用 实践 


云 计 算 的 “安全 ”实际 上 与 我 们 通常 意义 上 的 “安全 ”概念 上 是 基本 
一 样 的 。 

以 我 们 最 关注 的 个 人 安全 为 例 进行 类 比 可 以 看 到 ， 个 人 安全 威胁 
可 能 会 涉及 个 人 财产 损失 、 个 人 和 喘 伤 害 、 个 人 隐私 侵犯 等 。 针 对 这 
些 可 能 的 个 人 安全 威胁 ， 人 类 很 早 就 开始 穿 上 衣服 来 遮挡 隐私 ， 然 后 
盖 上 房子 修建 围栏 来 防止 野兽 的 侵扰 ， 然 后 房子 又 加 上 锁 来 防止 同类 
来 偷 写 ， 到 了 现代 又 发 明了 保险 柜 ， 防 止 小 偷 所 锁 ， 后 来 又 把 钱 存 到 
银行 防止 小 偷 连 保险 柜 一 起 偷 走 ..……... 而 进入 云 计算 时 代 ， 个 人 安全 威 
胁 以 新 的 形式 以 及 更 大 的 广度 在 扩大 ， 例 如 将 照片 、 视 频 、 通 讯 录 、 
私人 日 记 放 在 了 网 盘 的 个 人 空间 里 ( 云 ) ， 一 些 担心 就 会 随 之 而 来 ， 
如 网 盘 信息 会 不 会 被 人 贩卖 ”托管 在 公有 云 上 的 客户 关系 管理 系统 的 
客户 数据 信息 会 不 会 被 竞争 对 手 拿 到 ? 业务 系统 信息 是 否 可 能 被 算 
改 ? 可 以 看 到 ， 在 云 计算 时 代 ， 为 了 保障 个 人 安全 ， 我 们 只 盖 个 房 
子 、 加 个 锁 是 远 远 不 够 的 ， 而 且 房 子 怎 么 盖 ， 锁 加 在 哪里 都 成 了 间 
题 。 这 时 ， 我 们 就 需要 使 用 系统 工程 的 方法 来 构筑 个 人 安全 的 防范 问 
题 。 

对 应 地 ， 在 云 计 算 领 域 ， 使 用 系统 工程 的 方法 来 建立 和 完善 云 计 
算 体系 的 安全 ， 这 便 是 “ 端 到 端 云 安全 架构 ”。 


9.1 Min 到 Mii A 安全 2 四 
9.1.1 云 计算 中 的 主要 安全 威胁 


概括 地 讲 ， 云 计算 的 主要 安全 威胁 仅 4 个 字 ， 即 “天 灾 人 祸 ”: 

”“ 天 灾 ” 泛 指 各 种 不 可 抗力 ， 例 如 地 震 、 火 灾 、 水 灾 等 ， 

” “人 祸 ” 指 得 示 举 个 人 或 者 组 织 为 了 实现 其 利益 而 对 其 他 人 或 其 
他 组 织 尽 其 所 能 地 进行 入 侵 、 攻 击 、 窃 取 、 破 坏 等 行为 。“ 人 
个 ?是 云 计算 的 主要 安全 威胁 。 

云 计 算 体系 可 能 遭受 的 威胁 来 自 多 个 层次 。 


网 络 层次 


~ 数据 传输 过 程 中 的 数据 私密 性 与 完整 性 存在 威胁 : 目前 多 数 
用 户 仍 使 用 HTTP 方 式 (未 加 密 ) 而 非 HITPS (加 密 ) 访问 云 
资源 。 一 些 敏感 信息 如 密码 ， 可 能 被 窃取 。 

~ 更 容易 遭受 网 络 攻击 : 云 计 算 必 须 基 于 随时 可 以 接 入 的 网 
络 ， 便 于 用 户 通过 网 络 接 入 ， 方 便 地 使 用 云 计算 资源 。 云 计 
算 资源 的 分 布 式 部 署 使 路 由 、 域 名 配置 更 加 复杂 ， 更 容易 遭 
受 网 络 攻 击 ， 比 如 DNS 攻击 和 DDoS 攻击 。 对 于 Iaas ，DDoS 
攻击 不 仅 来 自 外 部 网 络 ， 也 容易 来 自 内 部 网 络 。 

” 资源 共享 风险 : 云 计算 的 共享 计算 资源 带 来 的 更 大 的 风险 ， 
包括 隔离 措施 不 当 造 成 的 用 户 数据 泄漏 、 用 户 遭 受 相 同 物理 
环境 下 的 其 他 恶意 用 户 攻 击 ; 网 络 防火 墙 、IPS 虚 拟 化 能 力 不 
足 ， 导 致 已 建立 的 静态 网 络 分 区 与 隔离 模型 不 能 满足 动态 资 
源 共享 需求 。 


虚拟 化 层次 


> Hypervisor 的 安全 威胁 : Hypervisor 为 虚拟 化 的 核心 ， 可 以 捕 
获 CPU 指 令 ， 为 指令 访问 硬件 控制 器 和 外 设 充 当中 介 ， 协 调 
所 有 的 资产 分 配 ， 运 行 在 比 操作 系统 特权 还 高 的 最 高 优先 级 
上 。 一 旦 Hypervisor 被 攻击 破解 ， 在 Hypervisor 上 的 所 有 虚拟 
机 将 无 任何 安全 保障 ， 直 接 处 于 攻击 之 下 。 

” 虚拟 机 的 安全 威胁 : 虚拟 机 动态 地 被 创建 、 被 迁移 ， 虚 拟 机 
的 安全 措施 必须 相应 地 自动 创建 、 自 动迁 移 。 虚 拟 机 没有 安 
全 措施 或 安全 措施 没有 自动 创建 时 ， 容 易 导 致 接 入 和 管理 虚 
拟 机 的 密 钥 被 盗 、 未 及 时 打 补 丁 的 服务 (FTP、SSH 等 ) 遭受 
攻击 、 弱 密码 或 者 无 密码 的 账号 被 资 用、 没有 主机 防火 墙 保 
护 的 系统 遭受 攻击 。 


数据 与 存储 威胁 


” 静态 数据 的 安全 威胁 : 静态 数据 可 以 加 密 保存 ， 如 简单 对 象 
存储 业务 ， 用 户 通过 客户 端 加 密 数据 ， 然 后 将 数据 存储 到 公 
有 云 中 ， 用 户 的 数据 加 密 密 钥 保 存在 客户 端 ， 云 端 无 法 获取 
密 钥 并 对 数据 进行 解密 。 

” 数据 处 理 过 程 的 安全 威胁 : 数据 在 云 中 处 理 ， 数 据 是 不 加 密 
的 ， 可 能 被 其 他 用 户 、 管 理 员 或 者 操作 员 获 取 。 

~ 剩余 数据 保护 : 用 户 退 租 虚 拟 机 后 ， 该 用 户 的 数据 就 变 成 剩 
余数 据 ， 存 放 剩 余数 据 的 空间 可 以 被 释放 给 其 他 用 户 ， 如 果 
数据 没有 经 过 处 理 ， 其 他 用 户 可 能 获取 到 原来 用 户 的 私密 信 
息 。 


身份 认证 与 接 入 管理 


云 计 算 支 持 海量 的 用 户 认证 与 接 入 ， 对 用 户 的 身份 认证 和 接 入 管 
理 必须 完全 目 动 化 ， 为 提高 认证 接 入 管理 的 体验 ， 需 要 云 简化 用 户 的 
认证 过 程 ， 比 如 提供 云 内 所 有 业务 统一 的 单 点 登录 与 权限 管理 。 

图 9-1 ”描述 了 云 计 算 管理 员 、 用 户 和 黑客 对 云 管 端 所 造成 的 威 
胁 。 

以 上 列 出 的 仅仅 是 来 自 某 个 个 人 的 可 能 威胁 ， 还 未 列 出 来 自 某 个 
组 织 ( 叫 “ 团 伙 ” 可 能 更 容易 理解 ) 的 威胁 ， 比 如 某 个 大 型 公司 内 部 的 
某 个 小 团伙 对 某 大 型 公司 进行 破坏 活动 ， 那 么 这 个 破坏 力 会 成 倍增 
长 ， 因 为 这 个 团伙 成 员 可 能 来 自 管理 层 、IT、 内 外 部 用 户 和 黑客 。 


模块 | 威胁 源 管理 员 用 户 黑客 
非法 操作 : 人 5TC 间 正常 的 升级 | 恶意 用 户 ; 仿冒 其 他 用 户 登录 ， 破 解密 码 | 伪造 TCM 管理 员 


通道 ， 植 入 森马 控制 非法 TC; 二 法 TCR 具有 奖 取 VM 归 提 的 能 力 |CM 注 消长 
请 | TC | 的 造 非法 TCM: 控制 TC [rc 被 非法 破坏 ， 植 入 木马 ， 非 法 获取 VM 数据 
权限 滥用 : 对 TCUSB 端 口 管理 不 合理 
SC ”| 权限 混用 数据 泄露 到 木 地 ， 如 截屏 SC 漏洞 攻击 
本 鹤 获 其 他 用 户 密码 常见 网 络 攻击 
管 | 网 络 PC 等 设备 绕 过 安全 网 关 
和 用 户 非法 登录 ， 弱 口令 或 口令 保管 不 善 “| 类 似 PC 的 常见 攻击 
挂 卷 用 户 虚拟 机 被 算 改 
利用 虚拟 机 备份 文件 非法 恢复 用 户 数据 ”| 改 击 相信 虚拟 机 ， 如 ARP 攻 击 
虚拟 机 | 虚拟 机 自然 损坏 和 沪 问 相信 认 拟 机 
击 虚 所 
有 化 灾 浊 内村 3， 如 攻击 外 网 
虚拟 机 迁移 过 程 中 安全 策略 失效 
管理 员 非法 登录 ， 利 用 弱 口令 或 口令 保管 不 善 还原 出 前 一 用 户 硬盘 数据 利用 租用 的 虚拟 机 攻击 虚拟 化 平台 
限 小 用: 在 缺少 三 权 分 立场 景 下 易 发 生 | 还原 出 前 一 用 户 内 存 数据 利用 租用 的 虚拟 机 攻击 虚拟 化 管理 平台 ， 
关键 操作 无 法 回溯 如 利用 OS/Web 漏 洞 
破坏 镜像 文件 ， 植 入 木马 虚拟 机 迁移 中 截获 用 户 数据 
理 扩大 化 : Ln 气 间 采用 互信 ， 


_， ，D | 管理 员 权限 

虚拟 化 层 | 风 获 取 单 节点 权限 即 可 控制 整 杂 去 
法 效 到 多 澡 们 思 ， 妇 六 所 放生 令 
人 法 具 视 用 户 上 报 机 流量 

非法 获取 用 户 


图 9-1 不 同 客 户 的 云 安全 威胁 
9.1.2” 端 对 端的 安全 架构 


上 面 分 析 了 云 计算 环 境 中 所 面临 的 各 种 威胁 ， 不 同 级 别 的 威胁 ， 
其 相应 的 安全 保障 措施 是 不 同 的 。 企 业 或 组 织 对 安全 级 别 要 求 越 高 ， 
这 个 端 到 端 安 全 架构 的 价值 也 就 越 大 ， 安 全 架构 之 下 的 具体 技术 保障 
手段 也 更 严 着 和 丰富 ， 如 图 9-2 所 示 。 


_ 客户 端 软件 。 用 户 验证 信息 3 
本 ; i 网 络 应 户 个 人 数据 Zi UserA 
—») | 桌面 应 企业 办 公 数 据 ~ 
| Ea 
User B 
接 入 控制 /传输 安全 数据 安全 运 维 管理 安全 
@ 多 种 用 户 接 入 认证 (Ukey/ 指 @ 文 件 加 密 及 权限 控制 @ 统 一 账户 管理 及 认证 
训 台 @VM 了 磁盘 加 密 @ 日 志 审 计 
-于 这 撤 @ 数 据 容 灾 备 份 三 权 分 立 
传输 通道 加 密 8 虚拟 机 人 问安 全 4 
@ 与 CA 身份 认证 网 关 结 合 
终端 安全 网 络 安全 云 平台 安全 
@USB 端 口 策略 管控 @ 硬 件 防火 墙 虚拟 化 VSA @ 操 作 系统 数据 库 加 固 
@ 禁 止 直接 访问 内 置 存储 @ 安 全 接 入 网 关 @ 防 病毒 
@ 补 本 和 升级 管理 @ 平 面 隔离 @ 安 全 补丁 
@ 防 截屏 @ 入 侵 防 护 @ 虚 拟 化 隔离 
@ 高 度 的 系统 裁剪 和 加 固 @VxLAN @Web 安 全 
@ 与 外 部 强身 份 认证 系统 对 接 @ 可 信和 虚拟 机 


桌面 终端 接 入 、 网 络 


图 9-2 ” 云 计 算 E2E 安 全 架构 
结合 云 计 算 的 风险 ， 端 对 端 云 计算 安全 架构 有 以 下 几 个 核心 部 
分 。 


“ 云 终端 ”安全 


采取 USB 端 口 策 略 管 控 、 禁 止 直 接 访 问 内 置 存 储 、 补 丁 和 升级 关 
联 等 。 

其 实质 是 采用 专用 的 TC (Thin Client， 瘦 客户 端 ) 终端 ， 这 种 TC 
终端 用 于 显示 云 中 心 的 图 像 ， 是 一 个 专用 的 府 入 式 系 统 。TC 这 种 瘦 客 
户 端 很 像 家 里 安装 的 机 顶 盒 ， 看 到 的 节目 (TC 对 应 的 内 容 ) 都 来 自 电 
视 台 〈TC 对 应 的 云 平台 ) 。 和 机 项 盒 不 同 的 是 ， 机 项 盒 使 用 遥控 器 进 
行 操作 ，TC 可 以 直接 连接 键盘 鼠标 ， 像 以 前 使 用 PC 那样 〈《 跟 PC 使 用 
体验 基本 一 致 ， 只 是 受到 了 更 严格 的 安全 管制 ) 。 采 用 这 种 TC 终 端 能 
够 实现 较 好 的 安全 性 ， 包 括 以 下 几 个 方面 。 

” BIOS 仅 从 内 置 存 储 引 导 


TC 的 BIOS 只 保留 从 内 置 存储 引导 的 方式 ， 没 有 保留 其 他 的 引导 方 
式 ， 如 USB5 引 导 、PXE (Preboot Execute Environment， 预 启动 执行 环 
境 ， 网 络 远程 启动 ) 引导 。 

> OS 安全 

TC 是 一 个 精简 的 、 封 闭 的 Linux/WES7/XPe 操 作 系统 。 

e 禁止 存储 类 设备 使 用 : TC 的 操作 系统 从 驱动 层 可 禁止 USB 存 
储 设备 的 使 用 ， 不 包含 任何 USB 存 储 的 驱动 。 包 括 U 盘 、USB 
光驱 等 在 内 的 USB 存 储 设备 无 法 在 TC 本 地 使 用 。 

。 禁止 直接 访问 内 置 存 储 : 操作 系统 的 TC 在 本 地 没有 暴露 内 置 
存储 访问 接口 ， 用 户 只 能 通过 系统 提供 的 程序 间接 访问 ， 这 
样 能 有 效 地 避免 系统 文件 被 破坏 。 

e 禁止 任意 安装 程序 : 操作 系统 的 TC 在 本 地 不 提供 安装 软件 的 
接口 ， 用 户 或 者 其 他 第 三 方 人 员 无 法 自行 安装 任何 软件 。 如 
果 需 要 在 TC 上 安装 软件 ， 则 只 能 通过 TCM (专门 的 TC 管理 
系统 ) 将 软件 包 下 发 到 TC 上 ， 然 后 在 TC 上 进行 安装 。 

简单 理解 “ 云 终 端 安 全 ”的 目标 ， 那 就 是 ， 对 安全 可 能 构成 威胁 的 
操作 基本 都 被 禁止 。 


“管道 ”安全 


管道 安全 包括 接 入 安全 和 网 络 安全 。 

接 入 安全 包括 多 种 方式 的 接 入 认证 (如 USB KEY/ 指 纹 / 令 牌 
等 ) 、 防 非法 接 入 (基于 网 络 IP 参 数 和 用 户 ID) 、 传 输 通 道 加 密 、 与 
CA 系统 对 接 等 。 


网 络 安全 包括 防火 墙 的 访问 控制 《这 里 的 防火 墙 除 传统 防火 墙 以 
外 ， 还 包括 虚拟 化 的 防火 墙 等 多 种 类 型 ) 、 安 全 接 入 网 关 (用 于 与 TC 
进行 认证 ， 建 立 安全 通道 ， 甚 至 提供 负载 均衡 的 功能 ) 、 网 络 平面 隔 
离 (提供 业务 网 、 管 理 网 和 存储 网 的 三 网 隔离 、 网 络 入 侵 防护 (如 
提供 防 拒绝 服务 攻击 功能 ) 、 基 于 VxLAN 的 网 络 VLAN 划 分 等 。 

理解 “管道 安全 ”的 重要 性 ， 有 一 个 形象 的 例子 。 换 位 思考 一 下 ， 
一 伙 动 匪 ， 他 们 为 了 钱 ， 是 抢 银 行 容易 呢 ， 还 是 抢 运 钞 车 容易 ? 答案 
肯定 是 运 钞 车 ， 因 为 运 钞 车 在 路 上 ， 表 怎么 防护 ， 也 没有 银行 防护 得 
严密 。 在 银行 内 部 ， 通 往 金 库 是 最 薄弱 的 环节 ， 也 是 通路 。 那 么 为 了 
安全 防护 ， 在 外 部 ， 要 考虑 运 钞 车 本 身 的 坚固 性 、 押 解 和 人员 以 及 行进 
路 绪 的 安全 性 ; 在 银行 内 部 ， 通 往 金 库 的 道路 上 要 层 层 设 卡 ， 设 立 各 
种 监控 和 密码 设施 。 


“ 云 "安全 


云 安 全 包括 云端 数据 安全 ， 这 是 云 计算 重点 需要 考虑 的 安全 内 
容 。 云 计算 中 的 数据 太 过 集中 会 造成 用 户 的 担忧 ， 信 息 资 产 的 集中 存 
储 也 是 网 络 攻击 的 重点 所 在 。“ 云 ”安全 包 括 云 数据 安全 和 云 平 台 安全 
两 部 分 。 

云 数据 安全 的 解决 方案 包括 文件 加 密 及 权限 控制 、VM 的 磁盘 加 
密 、 数 据 的 容 灾 备份 、 虚 拟 机 终端 安全 。 

云 平台 安全 包括 云 操作 系统 和 数据 库 的 安全 加 固 、 防 病毒 、 安 全 
补丁 、 虚 拟 化 隔离 、Wweb 安 全 、 可 信和 虚拟 机 。 

其 中 的 虚拟 化 隔离 和 可 信和 虚拟 机 (借助 可 信心 片 ， 是 下 面 重 点 介 
绍 的 内 容 。 


“管理 "安全 
管理 安全 包括 统一 账号 管理 及 认证 ,日 志 审计 ， 三 权 分 立 等 内 
下 面 对 云 计 算 中 的 重要 安全 技术 及 实现 方案 进行 介绍 。 

9.2 ”可 信 计 算 TPM/vTPM 


TPM 瑞 文 全 称 为 Trusted Platform Module ， 即 可 信赖 平台 模块 ，; 
vIPM 的 英文 全 称 为 Virtualizing the Trusted Platform Module， 即 虚拟 化 
可 信赖 平台 模块 。 

在 云 计 算 环 境 中 ， 用 户 失去 了 对 虚拟 机 的 完全 控制 ， 导 致 用 户 无 
法 信任 虚拟 机 环境 ， 这 成 为 了 用 户 部 署 云 计算 的 一 个 重要 障碍 。 因 此 
采用 可 信 计 算 和 虚拟 化 技术 的 结合 成 为 热点 。 基 于 TPM/TCM/TXT 可 
信和 硬件 技术 ， 在 云 平 台 上 开发 可 信和 虚拟 机 原型 系统 ， 可 实现 虚拟 机 的 
可 信和 启动 、 可 信和 运行 、 虚 拟 机 可 信 迁 移 等 ， 从 而 为 虚拟 机 构建 一 个 可 
信 的 计算 环境 ， 提 升 用 户 对 虚拟 机 环境 的 信任 度 。 

虚拟 机 的 可 信和 是 高 等 级 信息 系统 中 的 关键 点 ， 主 要 包括 : 

” 防止 节点 的 软件 配置 、 虚 拟 机 的 OS 被 黑客 攻击 算 改 ，; 

” 虚拟 机 防止 被 其 他 虚拟 机 攻击 、 嗅 探 ; 

” 防止 虚拟 机 被 恶意 的 人 员 局 动 和 利用 

” 防止 虚拟 机 迁移 到 不 被 认可 的 非 安 全 Host 主 机 上 ; 

” 防止 Dom0 的 恶意 管理 员 利 用 特权 账户 发 起 对 DomU 的 监控 与 
攻击 〈Dom 全 称 Domain， 是 CPU 虚拟 化 内 核 调度 中 的 一 个 名 
词 ， 简 单 理 解 ，CPU 中 有 很 多 Domain， 每 个 Domain 中 存放 一 
个 操作 系统 软件 ，Domain0 中 放 的 是 虚拟 化 软件 内 核 操 作 系 


统 软件 ，Domain0 中 的 操作 系统 软件 有 比 其 他 Domain 更 高 的 
CPU 指令 执行 特权 ， 有 恶意 管理 员 可 能 利用 这 个 特权 去 监控 其 
他 Domain 中 的 操作 系统 ) 。 
虚拟 机 可 信 计 算 技 术 是 当前 虚拟 化 环境 中 的 技术 发 展 热点 ， 也 是 
技术 难点 ， 一 般 通过 可 信心 片 技术 来 实现 。 技 术 实现 方案 如 图 9-3 所 
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.启动 可 信 ， 只 有 用 户 本 人 才 和 和 8 启动 (有 钥匙 、USB Key 等 )， 管 理 员 和 其 他 人 无 法 启动 ， 启 
动 环境 是 经 过 验证 的 ， 加 载 的 系统 是 安全 的 。 

“运行 可 人 和信: 运行 的 软件 是 可 信 的 ， 都 是 经 过 用 户 本 人 授权 安装 的 ， 管 理 员 和 其 他 人 对 VM 
运行 环境 无 法 修改 。 


存储 


图 9-3 ”可 信心 片 技术 原理 
图 9-4 ”是 实现 虚拟 机 的 可 信和 启动 原理 。 


Hypervisor 


图 9-4 ”可 信和 启动 原理 

用 户 的 VM 初始 内 存 的 数据 〈 不 变 的 部 分 ) 、 软 件 安装 /卸载 /运行 
信息 、0OS 人 信息、 磁盘 数据 以 Hash 的 方式 做 了 运算 ， 成 为 度量 的 基数 。 
该 基数 保持 在 TPM 心 片 中 ， 后 续 的 度量 值 与 之 比较 。 (简单 理解 ， 
Hash 是 一 种 算法 ， 能 够 对 每 个 目标 状态 以 唯一 数值 的 方式 进行 标注 ， 
相当 于 你 家 痢 的 牲畜 都 被 它 着 上 戳 ， 多 了 少 了 都 可 以 看 出 来 ， 有 狠 氢 
着 羊皮 混在 你 的 牲畜 圈 也 能 看 出 来 ， 或 根本 就 混 不 进去 ) 。 

其 实现 的 功能 是 : 

”~ 可 信 VM 的 OS 状态 受到 TPM 的 保护 ， 防 止 OS 被 修改 ; 


” 可 信 VM 中 软件 的 安装 /卸载 /运行 需要 得 到 用 户 授权 ， 并 可 防 


止 软件 被 修改 ， 
” 监控 Dom0 和 管理 员 对 可 信 VM 的 内 存 访 问 ， 防 止 VM 内 存 数 据 
被 获取 。 


用 于 云 计 算 当 中 的 TPM 心 片 可 能 有 几 种 安装 形式 : 内 贱 到 主板 之 
上 、 或 以 插 卡 的 形式 安装 到 主板 上 的 预 留 插 槽 。 比 如 华为 的 Tecal 系 列 
服务 器 ， 全 部 采用 TPM 插 卡 形 式 ，TPM 插 卡 作为 服务 器 的 选 配件 提 
供 


sO 


下 面 几 个 小 节 介 绍 一 下 TPM 可 以 实现 的 主要 功能 。 
9.2.1 TPM 功 能 1: 主机 启动 /静态 度量 


基于 上 述 可 信 技 术 可 以 实现 许多 非常 有 用 的 功能 ， 举 例 来 讲 ， 云 
计算 环境 中 主机 的 安全 是 云 计算 安全 的 基础 ， 如 果 主 机 操作 系统 被 每 
改 或 植 入 恶意 代码 ， 那 么 在 主机 之 上 运行 的 云 操作 系统 都 变 得 不 安 
全 。 基 于 ITPM 技 术 ， 可 以 把 合法 的 主机 信息 保存 起 来 ， 在 系统 启动 过 
程 中 进行 有 效 判断 〈 见 图 9-5) 。 
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图 9-5 ”主机 静态 度量 流程 

我 们 将 实现 这 一 功能 的 过 程 描述 如 下 : 

” BIOS 将 控制 权 交 给 GRUB ; 

” 在 kernel、initrd、module 命 令 中 加 载 操 作 系统 内 核 镜像 及 其 他 
模块 ，GRUB5 引 导 操 作 系 统 启动 ， 同 时 进行 度量 ， 将 hash 值 扩 

到 TPM PCR10 (PCR、Platform Configuration Register、 平 

台 配 置 寄存 器 ) ， 将 记录 写 入 度量 日 志 ; 

” 度量 配置 文件 列表 中 的 文件 ， 将 hash 值 扩展 到 TPM PCR10， 
将 记录 写 入 度量 日 志 ， 

” 执行 boot 命 令 ， 操 作 系统 启动 ; 

” 在 操作 系统 启动 后 ， 传 值 模块 自 启 动 ， 将 主机 静态 度量 信息 
传 出 。 


9.2.2” TPM 功能 2: 虚拟 机 的 静态 度量 


同样 ， 基 于 TPM， 可 以 对 虚拟 机 的 合法 性 进行 保护 。 主 要 原理 是 
在 虚拟 机 启动 前 ， 依 据 云 管理 服务 器 下 发 的 静态 度量 配置 文件 构造 度 
量 文件 列表 ， 然 后 将 虚拟 机 镜像 mount 放 在 指定 目录 ，mount 的 镜像 分 
为 Windows 和 Linux 两 种 操作 系统 。 

根据 度量 文件 列表 依次 对 查找 到 的 文件 进行 SHA-1 度 量 操作 ， 得 
出 160 位 hash 值 ， 同 时 将 每 一 个 文件 的 hash 值 进行 迭代 操作 ， 得 到 最 终 
的 度量 结果 ， 将 该 度量 结果 与 各 个 文件 的 hash 值 构成 的 日 志文 件 上 传 
给 上 层 ， 为 虚拟 机 镜像 是 否 遭 到 自 改 提供 依据 。 


9.2.3 ” TPM 功能 3: 主机 动态 度量 


TPM 除 了 用 于 对 操作 系统 及 其 虚拟 机 系统 的 静态 信息 的 保护 以 
外 ， 在 系统 运行 中 ， 还 能 根据 系统 的 运行 状态 信息 进行 动态 保护 。 主 
机 动态 度量 分 为 两 个 模块 : Xen 度 量 模块 和 Dom0 度 量 模块 ( 见 图 9- 
6) 。 
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图 9-6 主机 动态 度量 原理 

Xen 度 量 模块 部 署 在 UEFI 中 ， 利 用 SMM 机 制 进行 实时 度量 保护 ， 
主要 在 UEFI (新 型 UEFI， 人 全称“ 统一 的 可 扩展 固件 接口 *"， 英 文 为 
Unified Extensible Firmware Interface， 是 一 种 详细 描述 类 型 接口 的 标 
准 ) 中 进行 实现 ， 借 助 CMOS 来 传递 度量 的 地 址 和 范围 ， 可 以 进行 手 
动 和 定时 两 种 触发 方式 ， 当 度量 程序 被 触发 后 ， 会 对 CMOS 中 指定 的 
数据 进行 度量 ， 并 将 度量 值 扩 展 到 TPM (Trusted Platform Module) 的 
PCR (Platform Configuration Register) 中 。 手 动 触发 是 通过 管理 员 在 
Domain0 中 输入 触发 指令 来 触发 SMI Measurement Handler， 而 定时 触发 
是 由 UEFI 中 的 定时 协议 提供 的 功能 ， 到 达 指 定时 间 会 目 动 执 行 SMI 
Measurement Handler; SMI Measurement Handler 会 从 CMOS 中 读 取 指 
定 的 度量 学 围 和 地 址 并 完成 度量 操作 ， 最 后 将 度量 结果 生成 日 志 信 
息 。 

Dom0 度 量 模 块 部 署 在 Xen 中 ， 主 要 对 上 层 Domain0 中 的 GDT 

(Global Descriptor Table) 、IDT (Interrupt Descriptor Table) 和 模块 

及 驱动 进行 度量 ， 并 负责 主动 获取 在 内 存 中 Xen 的 度量 值 ， 然 后 生成 度 
量 日 志文 件 。 


9.2.4 ” TPM 功能 4: VM 动态 度量 


如 图 9-7 所 示 ， 本 部 分 为 动态 度量 十 构 图， 分 为 调度 模块 和 度量 模 
块 。 度 量 模块 负责 对 虚拟 域 进行 度量 ， 调 度 模块 负责 Domain-0 与 度量 
模块 的 通信 。 
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图 9-7 VM 动态 度量 流程 

通信 包括 两 个 方面 : 第 一 ， 将 度量 模块 度量 得 到 的 度量 值 传送 到 
Domain-0 的 Client 端 ; 第 二 ， 接 收 Client 端 发 来 的 命令 请 求 ， 并 将 请 求 
发 给 度量 模块 ， 对 度量 模块 的 行为 进行 触发 。 度 量 分 为 定时 度量 和 手 
动 度量 两 种 。 手 动 度量 由 Client 触 发 ， 度 量 模块 接收 到 手动 度量 请 ; 
后 ， 完 成 度量 行为 ， 并 将 度量 值 回 发 给 Client 端 。 定 时 度量 的 触发 由 度 
量 模块 中 的 timer 完 成 。 每 一 个 虚拟 域 对 应 一 个 timer，Client 端 能 够 设置 
每 个 timer 的 时 间 片 以 及 是 否 进行 度量 。 对 于 不 同 的 虚拟 域 ， 其 有 不 同 
的 度量 点 ， 如 表 9-1 所 示 。 

表 9-1 ”虚拟 域 的 不 同 度 量 点 


意 量 点 


虚拟 机 类 型 竖 量 所 


Windows GDT IDT SSDT 驱 动 


Linux-hvm GDT IDT KERNEL 内 核 模 块 


网 


9.2.5 “ITPM 功 能 5: 远程 证 明 


远程 证 明 是 对 平台 做 全 面 的 度量 ， 向 远程 通信 方 证 明 上 自身 运行 环 
境 是 可 信 的 。 远 程 证 明 是 一 个 综合 完整 性 校 验 和 身份 鉴别 的 过 程 ， 同 
时 向 验证 者 提供 一 份 可 信 的 平台 状态 报告 。TPM 是 报告 的 可 信 根 ， 能 
够 保证 对 当前 完整 性 度量 值 做 可 信 的 报告 。 

远程 证 明 是 通过 远程 证 明 协 议 来 实现 的 ， 如 图 9-8 所 示 。 
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注 : PCR 英 文 全 称 为 Platform Configuration Register， 即 平台 配置 寄存 器 PCR。 


注 : PCR 英 文 全 称 为 Platform Configuration Register， 即 平台 配置 

寄存 器 PCR。 
图 9-8 ”远程 证 明 协 议 

我 们 基于 远程 证 明 协 议 ( 见 图 9-9) ， 根 据 不 同 的 场景 ， 收 集 客户 
端 相 应 的 度量 值 和 度量 日 志 ， 开 始 进行 完整 性 检查 。 服 务 器 产生 一 个 
随机 数 ， 发 送 给 客户 端 。 配 备 TPM 的 客户 端 对 度量 值 用 SHA1 算 法 求 出 
哈 希 值 ， 再 用 生成 的 签名 私 钥 对 其 进行 签名 ， 形 成 完整 性 报告 ， 报 告 
包括 主机 名 、 随 机 数 、 度 量 值 、 哈 希 值 、 签 名 及 一 些 平台 相关 信息 
等 。 最 后 ， 将 完整 性 报告 和 度量 日 志 一 起 发 送 给 服务 器 。 服 务 器 检查 
随机 数 、 验 证 哈 希 、 验 证 签名 ， 通 过 比较 签名 值 和 基 绪 值 判断 平台 是 


否 可 信 。 
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图 9-9 ”远程 证 明 流 程 


9.3 ”虚拟 机 的 安全 隔离 
9.3.1 vCPU 调 度 隔 离 安 全 


Hypervisor 普 遍 采 用 了 硬件 辅助 虚拟 化 技术 (以 下 以 服务 器 最 常用 
的 Intel CPU 硬件 虚拟 化 技术 VTx 介 绍 ) ，VTx 将 CPU 的 操作 扩展 为 两 
个 forms ( 窗 体 ) : VMX Root Operation 〈 根 虚拟 化 操作 ) 和 VMX 
Non-root Operation ( 非 根 虚 拟 化 操作 ) ，VMX Root Operation 设 计 供 
Hypervisor 使 用 ， 其 行为 与 传统 的 IA32 并 无 特别 不 同 ， 而 VMX Non- 
root Operation 则 是 另 一 个 处 在 VMM (Virtual Machine Monitor) 控制 之 
下 的 IA32 环 境 。 所 有 的 forms 都 能 支持 所 有 的 Ring0 人 Ring3 共 4 个 特权 
级 ， 这 样 在 VMX Non-root Operation 环 境 下 运行 的 虚拟 机 就 能 完全 地 利 
用 Ring 0 等 级 〈 见 图 9-10) 。 
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Operation VMXON Ring 0 


VMRESUME 


图 9-10 ”CPU 的 隔离 原理 

Root Operation 环 境 和 Non-root Operation 环 境 之 间 可 以 切换 。 如 果 
虚拟 机 要 进行 一 些 特权 操作 ， 比 如 IO 访问 、 对 控制 寄存 器 的 操作 、 
MSR 的 读 写 指令 等 ， 此 时 就 进入 了 Root Operation 环 境 ， 当 处 理 完 这 些 
特权 操作 后 ， 将 重新 进入 Non-root Operation 环 境 继续 虚拟 机 的 执行 。 
从 Root Operation 环 境 到 Non-root Operation 环 境 叫 VM Entry， 反 之 称 为 
VM Exit。 同 时 ，VMM 可 以 通过 执行 VMXON 和 VMXOFF 指 令 打开 和 
关闭 VT-xo 

在 Root Operation 环 境 和 Non-root Operation 环 境 之 间 进 行 切换 时 ， 
有 一 个 虚拟 机 控制 结构 VMCS (Virtual Machine Control Structure) 进行 
控制 和 管理 ， 当 虚拟 机 被 创建 时 ，VMM 就 同时 为 每 一 个 vCPU 创 建 一 


个 VMCS， 这 个 数据 结构 可 以 决定 哪些 操作 会 触发 VMExit 进 入 Root 
Operation。 进入 到 Root Operation 后 ，Hypervisor 取 得 控制 权 ， 通 过 读 
取 VMCS 中 的 VM Exit Information Fields 得 到 发 生 VM Exit 的 原因 ， 在 
vmx-vmexit-handler 遂 数 中 开始 执行 相应 处 理 。Hypervisor 通 过 选用 几 
种 调度 算法 (如 credit、BVT 等 ;， 把 物理 CPU 合 理 地 分 配 给 虚拟 机 使 
用 。 虚 拟 机 获得 一 个 时 间 片 后 ， 在 这 个 时 间 片 内 连续 运行 它 的 逻辑 
CPU ， 时 间 片 消耗 完 后 ，Hypervisor 会 调度 下 一 个 虚拟 机 运行 。 
Hypervisor 正 是 通过 VMCS 结 构 灵 活 的 监控 虚拟 机 的 运行 ， 环 境 切 换 时 
硬件 自动 保存 、 恢 复 各 自 的 状态 ， 做 到 了 CPU 的 完全 隔离 。 


9.3.2 ”内 存 隔离 


虚拟 机 通过 内 存 虚拟 化 来 实现 不 同 虚 拟 机 之 间 的 内 人 存 隔离 。 内 存 
虚拟 化 技术 在 客户 机 已 有 地 址 映射 《虚拟 地 址 和 机 器 地 址 ) 的 基础 
上 ， 引 入 一 层 新 的 地 址 一 一 “物理 地 址 ”。 在 虚拟 化 场景 下 ， 客 户 机 OS 
将 “虚拟 地 址 ”映射 为 “物理 地 址 ”>; Hypervisor 负 责 将 客户 机 的 “物理 地 
址 ”映射 成 < 机 器 地 址 ”后 ， 再 交 由 物理 处 理 器 来 执行 〈 见 图 9-11) 。 


| 应 用 软件 :| 应 用 软件 : 
系统 软件 本 系统 软件 


云 计 算 硬 件 资源 


DW 


图 9-11 内存 隔离 原理 
内 存 虚拟 化 共 涉 及 三 个 内 存 地 址 。 
” 机 器 内 存 地 址 : 真实 的 机 器 地 址 ， 即 地 址 总 线 上 出 现 的 地 址 


言 号 。 

” 虚拟 机 物理 内 存 地 址 : 经 Hypervisor 抽 象 、 虚 拟 机 看 到 的 伪 物 
理 地 址 。 

” 应 用 程序 内 存 地 址 : 客户 机 OS 提供 给 其 应 用 程序 使 用 的 线性 
地 址 空间 。 


虚拟 机 物理 内 存 地 址 与 应 用 程序 使 用 的 内 存 地 址 之 间 的 映射 关系 
是 由 APP OS 维护 的 ， 即 虚拟 机 的 OS 维护 虚拟 机 上 的 应 用 程序 之 间 的 内 
存 分 配 和 调度 。 
Cloud OS (Hypervisor) 管理 虚拟 机 使 用 的 虚拟 物理 内 存 
(Physical Memory) 和 真实 机 器 内 存 (Machine Memory) 之 间 的 对 应 
关系 ， 即 P2M 转 换 ， 这 种 对 应 关系 是 一 一 对 应 的 ， 每 个 虚拟 机 都 有 一 


张 P2M 表 。 虚 拟 机 访问 内 存 时 ， 通 过 P2M 表 转换 ， 只 能 访问 到 分 配给 
它 的 内 存 ， 不 能 访问 没有 分 配给 它 的 内 存 ， 从 而 实现 各 虚拟 机 之 间 的 
内 存 隔离 。 

普通 MMU (Memory Management Unit) 只 能 完成 一 次 虚拟 地 址 到 
物理 地 址 的 上 映射， 在 虚拟 机 环境 下 ， 经 过 MMU 转 换 所 得 到 的 “物理 地 
址 ”并 不 是 真正 的 机 器 地 址 。 若 需 得 到 真正 的 机 器 地 址 ， 必 须 由 VMM 
介入 ， 再 经 过 一 次 映射 才能 得 到 总 线 上 使 用 的 机 器 地 址 。 如 果 虚 拟 机 
的 每 个 内 存 访 问 都 需要 VMM 介 入 ， 且 由 软件 模拟 地 址 转换 的 效率 是 很 
低下 的 ， 其 几乎 不 具有 实际 可 用 性 ， 为 实现 虚拟 地 址 到 机 器 地 址 的 高 
效 转换 ， 现 普遍 采用 的 思想 是 : 由 VMM 根 据 映 射 f 和 和 g 生 成 复合 的 映射 
fg， 并 直接 将 这 个 映射 天 系 写 入 MMU。 

Hypervisor 及 用 的 内 存 硬件 辅助 虚拟 化 技术 是 用 于 替代 虚拟 化 技术 
中 软件 实现 的 “影子 页 表 ” 的 一 种 硬件 辅助 虚拟 化 技术 ， 其 基本 原理 
是 : VA->PA->MA， 两 次 地 址 转换 都 由 CPU 硬 件 自 动 完成 (软件 实现 
内 存 开 销 大 、 性 能 差 ) 。Hypervisor 采 用 VTx 技 术 的 页 表 扩 充 技 术 
Extended Page Table (EPT) ， 首 先 YMM 预 先 把 客户 机 物理 地 址 转换 
到 机 器 地 址 的 EPT 页 表 设 置 到 CPU 中 ; 其 次 客户 机 修改 客户 机 页 表 无 
需 VMM 干 预 ; 最 后 ， 地 址 转换 时 ，CPU 自 动 查找 两 张 页 表 完 成 客户 机 
虚拟 地 址 到 机 器 地 址 的 转换 。 通 过 使 用 内 存 的 硬件 辅助 虚拟 化 技术 ， 
在 客户 机 运行 过 程 中 无 需 VMM 干 预 ， 去 除了 大 量 软 件 开销 ， 内 存 访 问 
性 能 接近 物理 机 。 


9.3.3 ”内 部 网 络 隔离 


Hypervisor 提 供 虚 拟 防 火 墙 一 一 路 由 器 (VFR，Virtual Firewall- 
Router) 的 抽象 ， 每 个 客户 虚拟 机 都 有 一 个 或 者 多 个 在 逻辑 上 附属 于 


VFR 的 网 络 接口 VIF (Virtual Interface) 。 从 一 个 虚拟 机 上 发 出 的 数据 
包 ， 先 到 达 Domain 0， 由 Domain 0 来 实现 数据 过 滤 和 完整 性 检查 ， 并 
插入 和 删除 规则 ; 经 过 认证 后 携带 许可 证 ， 由 Domain 0 转发 给 目的 虚 
拟 机 ; 目的 虚拟 机 检查 许可 证 ， 以 决定 是 否 接收 数据 包 。 


9.3.4 ”磁盘 IO 隔离 


虚拟 机 所 有 的 IO 操作 都 由 Hypervisor 截 获 处 理 ，Hypervisor 保 证 虚 
拟 机 只 能 访问 分 配给 该 虚拟 机 的 物理 磁盘 ， 实 现 不 同 虚拟 机 硬盘 的 隔 
离 。 


9.3.5 ”用户 数据 隔离 


Hypervisor 采 用 分 离 设 备 驱 动 模型 实现 W/O 的 虚拟 化 。 该 模型 将 设 
备 驱 动 划 分 为 前 端 驱 动 程序 、 后 端 驱动 程序 和 原生 驱动 三 个 部 分 ， 其 
中 前 疹 驱 动 在 DomainU 中 运行 ， 后 端 驱 动 和 原生 驱动 则 在 Domain0 中 运 
行 。 前 端 驱 动 负责 将 DomainU 的 WO 请 求 传递 到 Domain0 中 的 后 端 驱 
动 ， 后 端 驱 动 解析 IO 请 求 并 映射 到 物理 设备 ， 提 交 给 相应 的 设备 驱 动 
程序 控制 硬件 完成 JO 操 作 。 换 言 之， 虚拟 机 所 有 的 IO 操作 都 会 由 
VMM 截 获 处 理 ， 同 时 ， 系 统 对 每 个 卷 定 义 不 同 的 访问 策略 ， 没 有 访问 
该 卷 权 限 的 用 户 不 能 访问 该 卷 ， 只 有 卷 的 真正 使 用 者 (或 者 有 该 卷 访 
问 权 限 的 用 户 ) 才 可 以 访问 该 卷 ，VMM 保 证 虚拟 机 只 能 访问 分 配给 它 
的 物理 磁盘 空间 ， 从 而 实现 不 同 虚 拟 机 硬盘 空间 的 安全 隔离 。 


9.4 环境 中 的 网 络 安全 


虚拟 化 平台 的 网 络 通信 平面 划分 为 业务 平面 、 存 储 平 面 和 管理 平 
面 ， 且 三 个 平面 之 间 是 隔离 的 。 存 储 平面 与 业务 平面 、 管 理 平面 间 是 
物理 隔离 ; 管理 平面 与 业务 平面 间 是 逻辑 隔离 。 通 过 网 络 平面 隔离 保 
证 管理 平台 操作 不 影响 业务 运行 ， 最 终 用 户 不 能 破坏 基础 平台 管理 。 

网 络 平 面 隔离 如 图 9-12 所 示 。 


图 9-12 ”网 络 平面 隔离 
” 业务 平面 : 为 用 户 提供 业务 通道 ， 为 虚拟 机 虚拟 网 卡 的 通信 
平面 ， 对 外 提供 业务 应 用 。 
” 存储 平面 : 为 iSCSI 存储 设备 提供 通信 平面 ， 并 为 虚拟 机 提供 


存储 资产， 但 不 直接 与 虚拟 机 通信 ， 而 通过 虚拟 化 平台 转 
化 。 


” 管理 平面 : 负责 整个 云 计算 系统 的 管理 、 业 务 部 署 、 系 统 加 
载 等 流量 的 通信 。 


9.4.1 ”虚拟 交换 机 及 防 ARP 攻 击 


ARP (Address Resolution Protocol， 地 址 解析 协议 ) ， 负 责 将 某 个 
IP 地 址 解析 成 对 应 的 MAC 地 址 。ARP 攻 击 就 是 通过 伪造 IP 地 址 和 MAC 
地 址 实现 ARP 欺 骗 ， 通 过 在 网 络 中 产生 大 量 的 ARP 通 信 量 使 网 络 阻 
塞 ， 该 攻击 主要 存在 于 局 域 网 网 络 中 ， 通 过 木马 程序 发 起 攻击 。 

在 ARP 的 防 攻 击 中 ， 虚 拟 交 换 机 EVS (Elastic Virtual Switch) 起 到 
了 重要 作用 。 那 么 什么 是 虚拟 交换 机 呢 ? 图 9-13 是 EVS 的 染 构 图 。 


EVS 逻辑 架构 设计 


Evs tod 


EVS swSwitch 


L2 数据 面 
数据 VLAN| L2/L3 Security 


Flow table 


图 9-13 单机 EVS 架 构图 


单机 EVS 功 能 模块 职责 表 如 表 9-2 所 示 。 


功能 模块 名 称 


EVS Mgmt 


Port Mgmt 


Cfg group 


VLAN 


WU 


Qos 


L2 Security 


HU 


Mac Learning 


UpLink 


表 9-2 单机 EVS 功 能 模块 职责 表 


2 


职 贡 


EVS 对 象 管理 ， 支 持 创 建 多 个 EVS 对 象 


管理 虚拟 交换 机 的 端口 资源 ， 根 据 VM 申 请 给 其 分 
配 虚 拟 交 换 机 端口 资源 ， 该 端口 最 终 和 VM 的 vNIC 
对 应 


提供 配置 组 能 力 ， 方便 用 户 对 端口 做 批量 配置 
提供 标准 的 802.1Q 能 


提供 基本 的 Qos 能 力 ， 实 现 对 虚拟 机 的 带宽 保护 、 
流量 限 速 、 简 单 的 流量 整形 等 


基于 五 元 组 ， 根 据 ACL 规 则 对 包 转 发 引擎 进 行规 则 
配置 ， 对 转发 的 报 文 根 据 规则 进行 接收 /丢弃 处 理 


提供 二 层 的 IP/MAC 防 欺骗 的 安全 能 


提供 用 户 态 的 Maclearning 学 习 能 


管理 上 行 链 路 和 上 行 端口 ， 连 接 上 行 链 路 和 物理 网 


卡 ， 用 户 申请 上 行 端口 时 必须 连接 到 指定 的 Uplink 
链 路 上 ， 通 过 VLAN 能 力 的 属性 设置 保证 VM 的 流 
量 从 该 上 行 端口 (上行 链 路 ) 上 收发 。Uplink 还 会 


管理 普通 nic、inic、enic 等 各 种 资产， 并 提供 inic 或 
者 enic 能 力 下 的 网 络 直通 对 应 的 资源 分 配 能 


Host 的 二 层 虚 拟 交 换 能 力 ， 保 证 二 层 报 文 的 跨 
VM、 跨 host 的 交换 能 力 ; 提供 QoS、VLAN、 

EVS.swSwitch | L2/L3 Security 等 功能 ， 并 针对 每 条 数据 流 建立 对 应 
的 flow table 表 项 ， 后 续 数据 流 基于 对 应 的 flow table 
表 项 进行 快速 交换 


9.4.2 ”IP/MAC 防 欺骗 功能 设计 


弹性 EVS 实 现 的 一 个 重要 网 络 安全 功能 是 IP/MAC 的 防 欺骗 功能 。 

其 功能 包括 : 

> 截获 dhcp 报 文 ， 进 行 解析 ; 

” 对 开启 IP/MAC 防 欺骗 功能 的 虚拟 网 卡 侧 过 来 的 报 文 进行 非法 
dhcp 报 文 过 渡 ，; 

” 根据 开启 IP/MAC 防 欺骗 功能 的 虚拟 网 卡 的 dhcp ack 报 文生 成 
对 应 IP/MAC 防 欺骗 DB 条 目 ， 用 于 IP 报 文 源 地 址 防 欺 骗 和 ARP 
报 文 防 欺 骗 。 


9.4.3 VLAN 


通过 虚拟 网 桥 实现 虚拟 交换 功能 ， 虚 拟 网 桥 支 持 VLAN Tagging 功 
能 ， 实 现 VLAN 隔 离 ， 确 保 虚 拟 机 之 间 的 安全 隔离 。 

虚拟 网 桥 的 作用 是 桥接 一 个 物理 机 上 的 虚拟 机 实例 。 虚 拟 机 的 网 
卡 eth0、eth1 等 称 为 前 端 接口 (front-end) 。 后 端 (back-end) 接口 为 


vif， 连 接 到 Bridge。 这 样 ， 虚 拟 机 的 上 下 行 流量 将 直接 经 过 Bridge 转 
发 。Bridge 根 据 mac 地 址 与 vif 接 口 的 映射 关系 做 数据 包 转 发 。 

Bridge 支 持 VLAN Tagging 功 能 ， 这 样 分 布 在 多 个 物理 机 上 的 同一 
个 虚拟 机 安全 组 的 虚拟 机 实例 可 以 通过 VLAN Tagging 对 数据 帧 进行 标 
识 。 网 络 中 的 交换 机 和 路 由 器 可 以 根据 VLAN 标 识 决 定 是 否 对 数据 帧 
路 由 和 转发 ， 也 可 以 依据 VLAN 标 识 提供 虚拟 网 络 的 隔离 功能 。 

如 图 9-14 所 示 ， 处 于 不 同 物理 服务 器 上 的 虚拟 机 通过 VLAN 技 术 可 
以 划分 在 同一 个 局 域 网 内 ， 同 一 个 服务 器 上 的 同一 个 VLAN 内 的 虚拟 
机 之 间 通 过 虚拟 交换 机 进行 通信 ， 而 不 同 服务 器 上 的 同一 VLAN 内 的 
虚拟 机 之 间 通 过 交换 机 进行 通信 ， 确 保 不 同 局 域 网 的 虚拟 机 之 间 的 网 
络 是 隔离 的 ， 不 能 进行 数据 交换 。 


物理 服务 器 1 物理 服务 器 2 


Virtod Switel Virtua Switch 


We 
虚拟 交换 机 


接 入 交换 机 
图 9-14 ” VLAN 组 网 图 
9.5 全 


数据 是 云 计算 的 核心 ， 数 据 的 安全 包括 数据 的 机 密 性 保护 ( 张 三 
的 数据 不 能 被 李 四 读 取 ) 、 完 整 性 保护 (数据 不 能 被 自 改 ) 、 数 据 操 


作 审计 等 内 容 。 下 面 介绍 云 数 据 安 全 的 一 些 解决 方案 。 
9.5.1 云 存 储 加 密 与 用 户 数据 安全 
云 计算 虚拟 磁盘 加 密 方案 


云 计算 用 户 最 大 的 担心 就 是 个 人 数据 安全 ， 由 于 云 计 算 将 数据 集 
中 管理 ， 数 据 不 再 由 用 户 自己 管控 ， 而 是 被 云 计算 运营 企业 、 云 计算 
管理 员 控 制 ， 如 何 保证 这 些 用 户 的 数据 不 被 偷 看 、 泄 露 ? 如 何 保 证 用 
户 数 据 不 会 在 不 同 用 户 间 交 叉 ， 造 成 泄露 ? 数据 加 密 是 其 中 最 可 信 的 
解决 方案 ， 从 密码 理论 上 讲 ， 只 要 用 户 的 密 钥 没 暴露 ， 即 使 数据 丢失 
也 能 保障 信息 不 外 泄 ( 见 图 9-15) 。 


加 密 业务 证 局 公私 钥 

加 用 开通 关闭 ea 获取 
IT 管理 员 管理 
系统 


证 书 
发 放 


全 盘 加 解密 


入 UKey VM VM VM 
, _ > | (加 密 (加 密 (加 密 
Agent) Agenb Agent) 


磁盘 加 密 方案 设计 


图 9-15” 云 计算 虚拟 磁盘 加 密 系统 (VES) 


云 计算 数据 安全 解决 方案 


对 虚拟 机 数据 盘 进 行 全 盘 加 密 ， 加 密 过 程 通过 降低 CPU 消耗 来 避 
免 影响 系统 效率 。 采 用 加 密 机 、PKI 证 书 、 对 称 密 钥 三 级 密 钥 机 制 提 供 
对 用 户 虚拟 磁盘 的 高 强度 、 高 安全 性 加 密 。 数 据 安全 防护 系统 与 第 三 
方 CA 无 颖 对接 ， 提 供 高 安全 、 高 可 靠 的 密 钥 管理 服务 。 通 过 屏 焙 云 平 
台 差 异 ， 兼 容 所 有 类 型 的 Hypervisor， 实 现 与 云 业 务 管理 系统 松 耦 合 关 
系 以 及 数据 安全 防护 系统 的 独立 部 署 。 


9.5.2 ”用 户 数据 安全 有 效 保护 


数据 安全 是 保障 数据 中 心安 全 的 重点 。 为 了 保障 用 户 的 数据 安 
全 ， 需 要 从 数据 隔离 、 访 问 控制 等 多 个 方面 采取 措施 。 


用 户 卷 访问 控制 


系统 对 每 个 卷 定义 不 同 的 访问 策略 ， 疫 有 访问 该 卷 权限 的 用 户 不 
能 访问 该 卷 ， 只 有 卷 的 真正 使 用 者 (或 者 有 该 卷 的 访问 权限 ) 才 可 以 
访问 该 卷 ， 每 个 卷 之 间 是 互相 隔离 的 。 


存储 节点 接 入 认证 


” 存储 慷 点 采用 标准 的 iSCSI 进 行 访问 ， 并 且 支 持 询问 握手 认证 
协议 (CHAP，Challenge Handshake Authentication Protocol) 
认证 功能 。CHAP 协 议 可 通过 三 次 握手 ， 周 期 性 校 验 对 端的 身 
份 。CHAP 认 证 可 在 初始 链 路 建立 时 、 完 成 时 以 及 在 链 路 建立 
之 后 重复 进行 。 通 过 递增 改变 的 标识 符 和 可 变 的 询问 值 ， 可 
防止 来 自 端点 的 重 放 攻 击 ， 限 制 暴 露 于 单个 攻击 的 时 间 。 
CHAP 认 证 功能 可 以 提高 应 用 服务 器 访问 存储 系统 的 安全 性 。 


~ 存储 系统 启用 CHAP 认 证 以 后 ， 应 用 服务 器 侧 也 必须 启用 
CHAP 认 证 ， 同 时 在 存储 系统 中 把 应 用 服务 器 的 信息 加 入 到 存 
储 系统 的 合法 CHAP 用 户 ， 只 有 经 过 CHAP 认 证 通过 以 后 ， 才 
能 连接 到 存储 系统 并 存 取 数据 。 


剩余 数据 删除 


” 当 用 户 把 卷 卸 载 释 放 后 ， 系 统 在 把 该 卷 进 行 重新 分 配 之 前 ， 
会 对 该 卷 进 行 数据 格式 化 ， 以 保证 该 关上 的 用 户 数据 的 安全 
性 。 

”存储 的 用 户 文 件 /对 象 删除 后 ， 对 应 的 存储 区 进行 完整 的 数据 
擦 除 ， 并 标识 为 只 写 (只 能 被 新 的 数据 覆 写 ) ， 保 证 不 被 非 
法 恢复 。 


数据 备份 


” 云 数 据 中 心 的 数据 存储 采用 多 重 备份 机 制 ， 每 一 份 数据 都 可 
以 有 一 个 或 者 多 个 备份 ， 当 数据 因 存 储 载体 (如 硬盘 出现 
故障 的 时 候 ， 不 会 引起 数据 的 丢失 ， 也 不 会 影响 系统 的 正常 
使 用 。 

” 系统 对 存储 数据 按 位 或 字 节 的 方式 进行 数据 校 验 ， 并 把 校 验 
的 信息 均匀 地 分 散 到 阵列 的 各 个 磁盘 上 。 阵 列 的 磁盘 上 既 有 
数据 ， 也 有 数据 校 验 信息 ， 数 据 块 和 对 应 的 校 验 信息 会 存储 
于 不 同 的 磁盘 上 ， 当 一 个 数据 盘 损 坏 时 ， 系 统 可 以 根据 同一 
带 区 的 其 他 数据 块 和 对 应 的 校 验 信息 来 重 构 损坏 的 数据 。 


IPSAN 保 险 箱 技术 


存储 系统 遭遇 意外 掉 电 时 ， 采 用 数据 保险 箱 技 术 保 证 数据 的 安全 
性 和 完整 性 。 数 据 保 险 箱 技 术 即 从 系统 中 的 菜 几 块 硬盘 上 划分 出 一 定 
区 域 ， 用 来 专门 存放 因 突 然 挥 电 而 尚未 及 时 写 入 硬盘 的 Cache 数 据 和 一 
些 系统 配置 信息 。 当 系统 外 部 供电 中 断 时 ， 则 通过 内 置 电 闻 或 外 置 
UPS 供 电 ， 使 得 Cache 中 的 数据 能 够 写 入 数据 保险 箱 。 当 外 部 电力 恢复 
时 ， 控 制 器 再 将 数据 从 数据 保险 箱 中 读 回 到 Cache， 继 续 完成 对 数据 的 
处 理 。 


9.6_ 公有 云 、 私 有 云 的 安全 组 


虚拟 化 融 来 的 最 大 威胁 是 虚拟 机 间 资 源 未 完全 隔离 ， 云 计算 提供 
了 同一 物理 机 上 和 不同 虚拟 机 之 间 的 资源 隔离 ， 避 人 免 虚拟 机 之 间 的 数据 
窃取 或 恶意 攻击 ， 保 证 虚拟 机 的 资源 使 用 不 受 周 边 虚 拟 机 的 影响 。 终 
端 用 户 使 用 虚拟 机 时 ， 仅 能 访问 属于 自己 的 虚拟 机 的 资源 (如 硬件 、 
软件 和 数据 ) ， 不 能 访问 其 他 虚拟 机 的 资源 ， 保 证 虚拟 机 隔离 安全 。 
实现 原理 如 图 9-16 所 示 。 


Host2 


和 上 / ye sy . 
=” 办 公 区 域 (Public Area) 


HR(VLAN100) 1!: Financk(VLA 


图 9-16 ”安全 组 原理 
用 户 可 以 根据 虚拟 机 的 属性 灵活 定义 安全 组 ， 包 括 IP、MAC、 
VLAN、 Subnet 等 元 数据 。 安 全 组 是 具有 同等 安全 要 求 的 一 组 虚拟 机 。 
安全 组 可 以 由 一 个 或 多 个 VM， 也 可 以 由 一 个 或 多 个 VLAN 组 成 。 安 全 
组 的 策略 可 以 细 化 到 VLAN 甚 至 每 台 VM。 每 个 安全 组 对 应 一 个 安全 
域 ， 可 以 基于 安全 组 定义 自己 的 访问 控制 规则 ， 实 现 域内 和 域外 的 安 
全 隔离 。 安 全 组 间 的 访问 控制 在 Hypervisor 层 实现 ， 每 个 host 上 部 署 一 
个 ,不 占用 额外 的 虚拟 机 资源 ， 不 存在 安全 检测 引流 导致 的 流量 迁 回 
问题 。 
安全 网 关 控 制 器 (Security Gateway Controller，SGC) 是 实现 VM 
隔离 功能 的 核心 组 件 ， 它 部 署 在 Hypervisor， 主 要 功能 如 下 : 
” 当 SGC 上 不 存在 从 源 VM 到 目的 VM 的 安全 组 规则 时 ， 它 和 目 
的 端 SGC 进 行 安 全 组 规则 协商 ， 以 决定 是 否 人 允许 VM 之 间 的 通 


= 。 
已 ， 


| 


当 SGC 本 地 的 安全 组 成 员 表 、 安 全 组 规则 表 发 生变 化 时 ， 需 

要 通知 相关 SGC 做 相应 的 更 新 ; 

~ SGC 接 收 安全 组 规则 协商 请 求 消 息 ， 根 据 本 地 的 安全 组 成 员 
表 和 安全 组 规则 表 ， 动 态 生成 安全 组 会 话 表 ; 

~ SGC 接 收 安全 组 成 员 、 安 全 组 规则 表 〈 增 、 删 、 改 ) 通知 消 
息 ， 以 及 VM 渤 移 事 件 ， 并 做 相应 处 理 ， 

”SGC 接收 Hypervisor 发 来 的 VM 在 线 、 离 线 事 件 ， 并 做 相应 处 

理 : 


9.7“” 云 安全 管理 
9.7.1 “日 志 管理 


云 计算 带 来 了 成 本 降低 、 效 率 提高 等 一 系列 好 处 的 同时 ， 由 于 计 
算 、 存 储 的 集中 ， 对 管理 维护 提出 了 更 高 的 安全 要 求 ， 以 保障 基础 设 
施 的 安全 运行 。 

系统 支持 集中 的 日 志 收 集 和 存储 ， 满 足 各 种 审计 要 求 ， 如 分 级 保 
护 。 

一 般 的 云 计 算 平 台 均 支 持 以 下 三 类 日 志 。 

(1) 操作 日 志 

操作 日 志 记录 操作 维护 人 员 在 管理 节点 进行 的 管理 维护 操作 ， 包 
括 用 户 、 操 作 类 型 、 客 户 端 耻 、 关 键 参 数 、 操 作 时 间 、 操 作 结果 等 内 
容 ， 存 放 在 管理 节点 的 数据 库 中 。 审 计 人 员 可 通过 OMS Portal 导 出 和 
查看 操作 日 志 ， 定 期 审计 操作 维护 人 员 在 管理 节点 进行 操作 ， 及 时 发 
现 不 当 或 恶意 的 操作 。 操 作 日 志 也 可 作为 抗 抵赖 的 证 据 。 


(2) 运行 日 志 


运行 日 志 记 录 各 节 和 点 的 运行 情况 ， 分 为 debug、info、warning、 
error 4 个 级 别 ， 优 先 级 依次 递增 ， 可 由 日 志 级 别 来 控制 日 志 的 输出 。 

各 节点 的 运行 日 志 通 过 日 志 管 理 组 件 统一 汇总 、 过 滤 成 高 级 别 日 
志 (warning、error 级 别 ) 和 完整 日 志 (包括 所 有 已 设置 输出 级 别 的 日 
志 包 ) 。 高 级 别 日 志 定 期 汇总 到 日 志 服 务 器 统一 存放 。 完 整 日 志 在 本 
地 存放 ， 并 支持 通过 脚本 方式 上 载 指定 节点 、 时 间 段 的 完整 日 志 到 日 
志 服 务 器 。 

运行 日 志 包括 级 别 、 线 程 名 称 、 运 行 信息 等 内 容 ， 维 护 人 员 可 通 
过 查看 运行 日 志 ， 了 解 和 分 析 系统 的 运行 状况 ， 及 时 发 现 和 处 理 异 常 


(3) 黑匣子 日 志 

黑匣子 日 志 记录 系统 严重 故障 时 的 定位 信息 ， 主 要 用 于 故障 定位 
和 故障 处 理 ， 便 于 快速 恢复 业务 。 其 中 计算 节点 产生 的 黑匣子 日 志 ; 
总 到 日 志 服务 器 统一 存放 ， 而 管理 节点 、 存 储 节点 产生 的 黑匣子 日 志 
在 本 地 存放 。 

云 计算 系统 支持 集中 的 日 志 收集 和 存储 ， 如 图 9-17 所 示 。 


集中 日 志 服 务 器 


FTP/TFTP 


Host Guest 
OS OS 


图 9-17 集中 日 志 管 理 
在 各 节点 部 署 日 志 收 集 客户 端 ， 实 时 收集 本 地 产生 的 运行 日 志 、 
er tt nd i 
别 日 志和 完整 日 志 。 高 级 别 日 志 定 期 汇总 到 集中 日 志 服 务 器 。 完 
志 通 单 存在 本 地 世 点 ， ae ne ea 
志 汇 总 到 日 志 服 务 器 进行 集中 管理 ， 主 要 管理 方法 如 下 。 


安全 告警 管理 


安全 告警 是 指 当 系 统 侦 测 到 违背 安全 策略 的 事件 行为 时 ， 将 与 安 
全 事件 相关 的 一 些 信息 上 报 给 安全 告警 管理 ， 管 理 员 根据 这 些 信息 对 
违背 安全 策略 的 行为 进行 及 时 处 理 ， 排 除 安全 隐患 。 安 全 告警 上 报 的 
内 容 包含 告警 的 来 源 、 告 警 产 生 的 时 间 、 告 警 产 生 的 原因 、 服 务 提供 
者 、 服 务 使 用 者 、 告 警 级 别 、 事 件 类 型 等 信息 。 


日 志 分 类 管理 


通过 查看 日 志 可 以 了 解 系统 的 运行 情况 和 操作 记录 ， 用 于 用 户 行 
为 审计 和 问题 定位 。 日 志 分 为 操作 日 志和 运行 日 志 ， 操 作 日 志 与 系统 
安全 相关 。 操 作 日 志 记 录 了 用 户 对 系统 所 做 的 操作 以 及 操作 的 结果 ， 
用 于 跟踪 和 审计 。 记 录 操 作 日 志 ， 可 以 快速 定位 系统 是 否 遭 受 有 恶意 的 
操作 和 攻击 。 


日 志 备份 


系统 需要 定期 备份 操作 日 志 ， 并 提供 “定时 周期 性 备份 方式 ”备份 
操作 日 志 ; 日 志 备 份 成 功 后 ， 系 统 会 自动 删除 已 备份 的 日 志 。 
在 界面 上 查看 日 志 时 ， 采 用 Https 方 式 进行 传输 。 查 看 日 志 时 采取 
的 安全 措施 如 下 。 
” 根据 管理 员 的 权限 定义 日 志 碍 看 范围 。 超 级 管理 员 能 碍 看 所 
有 上 日志， 但 普通 管理 员 仅 能 碍 看 目 己 的 操作 日 志 。 任 何人 员 
不 能 在 界面 上 修改 或 删除 日 志 。 有 查询 权限 的 人 才能 导出 日 
志 。 
”日 志 格 式 : 各 系统 针对 操作 日 志 提 供 多 个 字段 ， 详 细 记 录 外 
界 用 户 在 系统 上 执行 的 具体 操作 、 用 户 信 息 、 操 作 时 间 等 信 
息 ， 便 于 管理 员 根据 操作 日 志 识 别 有 风 险 的 操作 或 已 导致 问 
题 的 危险 操作 ， 并 采取 合理 的 防卫 措施 ， 提 高 系统 的 安全 
性 。 


9.7.2 ”账户 和 密码 安全 


硬件 设备 及 系统 存在 初始 默认 的 账号 和 密码 ， 主 要 是 用 于 维护 硬 
件 设 备 及 系统 。 建 议 管理 员 首次 登录 就 修改 默认 密码 ， 且 修改 时 需 满 
足 密码 复杂 度 要 求 ， 同 时 建议 管理 员 定期 修改 密码 ， 确 保密 码 不 泄 
凋 。 
系统 中 各 类 账户 的 密码 加 密 、 设 置 和 修改 原则 如 表 9-3 所 示 。 
表 9-3 各 类 账户 的 密码 加 密 、 设 置 和 修改 原则 


原则 
目 
码 
首 


次 | 首次 登录 系统 时 ， 需 要 修改 系统 默认 密码 ， 密 码 修 改 方法 请 
设 “| 参见 账户 密码 维护 ， 密 码 设 置 需 满 足 密码 策略 表 要 求 


码 
加 | 、 
| 所 有 密码 加 密 存 放 ; 密码 不 以 明文 形式 在 界面 显示 


密 ”| 只 有 通过 认证 的 用 户 ， 才 能 修改 密码 ; 修改 密码 时 ， 必 须 通 
码 | 过 旧 密 码 校 验 ; 密码 达到 最 长 有 效 期 后 ， 用 户 再 次 登录 时 ， 
修 ”| 系统 强制 用 户 更 改 密码 ; 密码 需要 定期 修改 ， 对 于 管理 员 密 
改 | 码 ， 建议 最 长 180 天 修改 一 次 


系统 安装 时 生成 默认 的 密码 策略 表 ; 密码 策略 表 只 有 系统 管 
理 员 有 权 修 改 ; 修改 密码 策略 表 后 ， 根 据 原 有 密码 策略 表 设 
置 的 密码 能 够 正常 登录 


码 
策 
略 
表 
修 
改 
原 
则 


9.7.3 ”分 权 分 域 管理 


通过 对 管理 员 区 分 权限 ， 对 被 访问 的 数据 区 分 权限 ， 限 制 管 理 员 
访问 系统 的 范围 ， 保 证 系统 的 安全 。 管 理 员 分 权 分 域 管理 模型 遵循 美 
家 标准 与 技术 研究 院 (NIST，The National Institute of Standards 
and Technology) 标准 的 基于 角色 的 访问 控制 (RBAC，Role Based 
Access Control) 模型 。 


三 权 分 立 


底层 采用 强制 访问 控制 措施 ， 在 系统 启动 的 时 候 就 自动 产生 系统 
管理 员 、 审 计 员 和 操作 员 三 类 角色 ， 而 且 每 类 角色 可 以 延伸 新 的 角 
色 ， 系 统管 理 员 不 能 删除 其 他 角色 ， 其 行为 将 会 被 审计 员 所 审计 。 


分 权 


“分 权 ” 指 区 分 “操作 权限 ”， 它 由 “角色 ”进行 控制 。 一 个 “角色 ”可 拥 
有 一 个 或 多 个 不 同 的 “操作 权限 ”， 一 个 “用 户 ” 可 拥有 一 个 或 多 个 不 同 
的 “角色 ”。 通 过 绑 定 “用 户 ” 和 “角色 ”， 实 现 “ 用 户 ”" 和 “操作 权限 ”的 绑 
定 。 如 果 一 个 “用 户 ” 拥 有 多 个 “角色 ”， 其 拥有 的 “操作 权限 ”是 多 个 “ 角 
色 ” 拥 有 的 “操作 权限 ”的 并 集 。 产 品 支 持 灵 活 的 设置 角色 ， 并 灵活 赋予 
角色 拥有 的 权限 。 


分 域 


“分 域 ” 措 区 分 “数据 管理 范围 ”。 


基础 设施 及 虚拟 桌面 分 权 分 域 管 理 


创建 多 个 管理 员 用 户 ， 并 支持 对 各 管理 员 用 户 进 行 操作 权限 和 数 
据 权 限 的 管理 。“ 起 级 管理 员 ” 可 根据 企业 自身 的 业务 需要 ， 在 “桌面 云 
业务 维护 系统 ”系统 中 添加 “业务 管理 员 ”， 通 过 “业务 管理 员 ” 管 理 和 维 
护 企 业 的 桌面 云 资源 。“ 起 级 管理 员 * 可 赋予 “业务 管理 员 ” 不 同 的 角 
色 ， 用 以 定义 用 户 可 执行 的 操作 权限 。 “超级 管理 员 ” 可 配置 “业务 管理 
员 ”， 用 以 定义 用 户 可 执行 操作 的 范围 。 这 里 提 到 的 “超级 管理 员 ” 不 一 
定 是 一 个 人 ， 出 于 安全 需要 ， 可 能 是 以 多 个 人 联合 完成 的 ， 比 如 5 个 


人 ， 每 个 人 拥有 一 段 独立 的 密码 ，5 个 人 分 别 输入 密码 才能 让 超级 管理 
员 权 限 生 效 ， 而 超级 管理 员 的 操作 则 在 5 个 人 的 监督 下 完成 。 


9.8” 云 安全 应 用 实 


某 单 位 以 前 采用 传统 PC 办 公 ， 终 端 数量 众多 ， 维 护 工作 量 大 ， 分 
级 保护 终端 软件 安装 和 维护 成 本 巨大 ， 使 用 和 维护 极其 不 便 ; 即使 在 
此 情况 下 ， 泄 密 风险 也 时 刻 存 在 。 因 此 应 重视 桌面 云 技术 解决 安全 问 
题 ， 实 现 安全 和 方便 地 办 公 。 

云 桌面 管理 包括 桌面 管理 和 虚拟 化 管理 两 个 部 分 。 虚 拟 桌 面 管理 
软件 提供 高 性 能 且 可 靠 的 桌面 投 送 。 虚 拟 化 管理 对 硬件 设备 (服务 
器 、 存 储 、 交 换 机 ) 、 虚 拟 资源 进行 集中 管理 ， 采 用 B/S 架构 ， 可 以 远 
程 统一 管理 本 项 目 中 VDI 桌 面 、 应 用 虚拟 化 、 服 务 器 虚拟 化 三 个 资源 
池 。 虚 拟 化 管理 系统 可 管理 、 监 控 硬件 资源 、 虚 拟 资源 ， 支 持 虚拟 机 
的 快速 部 署 、 定 制 化 策略 调度 。 

桌面 云 登录 认证 采用 身份 认证 网 关 和 AD 认证 共存 的 解决 方案 ， 对 
最 终 用 户 体现 为 USBkey 登 录 认 证 ， 桌 面 云 内 部 实际 认证 利用 AD 的 域 
用 户 名 /密码 ， 由 身份 认证 网 关 / 管 控 平 台 实 现 用 户 证 书 与 用 户 名 /密码 
的 映射 转换 。 

身份 认证 网 关 部 署 在 安全 接 入 网 关 前 ， 登 录 WI 的 会 话 请 求 被 网 关 
客户 端 截获 ， 送 到 身份 认证 网 关 (由 网 关 客 户 端 与 身份 认证 网 关 建 立 
安全 加 密 通道 ) ， 经 过 解析 处 理 (如 域 用 户 密 码 代 填 ) 后 转发 到 WI 
( 见 图 9-18) ， 可 登录 WI (网 页 界面 ，Web Interface) 或 通过 虚拟 机 
实现 单 点 登录 (只 输入 一 次 PIN 码 ) 。 


管理 平台 


” 接受 管控 平台 客 尸 端的 USBkey 注 册 。 
USBkey 认 证 的 用 户 管 理 ， 包 括 用 户 与 证 书 的 对 应 关系 ， 以 及 
维护 证 书 与 用 户 名 /密码 的 映射 ， 供 认证 网 关 通 过 登录 模块 碍 
询 域 用 户 名 和 密码 。 

” 定期 自动 修改 用 户 的 域 密码 。 


认证 网 关 


” 用 户 USBkey 的 登录 认证 : 认证 通过 后 代 填 用 户 名 /密码 ， 然 后 


登 > 到 WiI。 


网 关 客 户 端 模块 | 一 >| 网 
管理 平台 客户 训 
课 面 协议 客户 端 


登录 模块 


过 ”桌面 协议 服务 端 


图 9-18 ”桌面 云 系 统 安全 架构 
网 关 客 户 端 模块 : 拦截 TC 到 Wi 的 登录 请 求 ， 代 理 转发 到 认证 
网 关 。 
”~ 管控 平台 客户 端 : USBkey 使 用 前 注册 到 管控 平台 ， 第 一 次 注 
册 需 要 输入 用 户 的 域 用 户 名 和 密码 ; 截获 PIN 码 到 管控 平台 中 
(为 保证 PIN 码 、 密 码 的 安全 ， 需 经 过 认证 网 关 ) 。 
登录 模块 : 从 管控 平台 获取 PIN 码 、 用 户 名 和 密码 ， 然 后 登录 
虚拟 机 。 


9.9 云 i 
安全 与 用 户 体验 


云 计 算 体系 采用 的 安全 措施 越 多 ， 该 云 体系 的 投入 和 运营 成 本 相 
对 没有 安全 措施 云 计算 体系 的 投入 与 成 本 会 越 高 ， 出 于 安全 的 需要 ， 
运营 维护 效率 也 会 相对 降低 。 举 个 最 简单 的 例子 ， 大 家 在 使 用 互联 网 
时 最 头疼 的 一 个 问题 就 是 密码 ， 不 同 的 网 站 对 密码 的 格式 要 求 不 同 ， 
导致 我 们 需要 记 下 很 多 用 户 名 密码 ， 密 码 筷 记 是 单 事 ， 找 回 密码 往往 
还 需 另 外 一 个 密码 。 提 升 体系 安全 性 的 同时 ， 怎 样 改善 用 户 体验 ， 还 
需要 持续 不 断 的 改进 。 利 用 桌面 去 安全 方案 来 蔡 换 以 前 的 PC 安全 方案 
便 是 一 个 很 好 的 例子 。 桌 面 去 安全 性 不 仅 比 PC 时 代 提 升 了 ， 而 且 终 站 
用 户 体验 以 及 运 维 管理 效率 还 能 得 到 大 幅 提 升 ， 这 无 疑 是 涉 密 企业 与 
机 构 的 极 佳 选择 。 


安全 与 效益 


作为 企业 而 言 ， 要 综合 地 考虑 安全 问题 ， 因 为 企业 需要 效率 和 赢 
利 。 比 如 ， 对 于 当今 已 经 竞争 日 热 化 的 企业 电子 商务 ， 安 全 问题 很 重 
要 ， 因 为 每 个 安全 凋 洞 可 能 都 意味 着 企业 的 损失 ， 但 出 于 竞争 的 需 
要 ， 企 业 需 要 不 断 创新 交易 模式 ， 比 如 交易 模式 由 PC 的 互联 网 点 对 点 
固定 交易 过 渡 到 手机 的 移动 交易 模式 ， 以 此 来 抢占 更 多 的 市 场 空 间 。 
创新 本 身 就 会 有 安全 风险 (比如 手机 更 容易 丢失 ， 更 容易 被 植 入 恶意 
软件 ) ， 企 业 若 想 抢占 先 机 ， 必 须 去 承担 这 个 风险 ,不 能 因此 退缩 不 
前 。 被 竞争 对 手 超 越 所 市 来 的 损失 ， 可 能 比 黑客 穷 取 一 部 分 资金 的 损 


失 大 得 多 。 可 以 由 此 衍生 出 保险 模式 ， 比 如 一 些 企业 以 “你 敢 付 、 我 融 
敢 赔 ” 这 种 承担 安全 风险 的 前 卫 模式 ， 大 力 拓展 其 市 场 空间 。 


10 章 ”大 数据 平台 核心 技术 与 架 


10.1 点 上 


从 技术 角度 来 看 ， 大 数据 所 涵盖 的 范围 往往 比 人 们 想象 的 窒 很 
多 。 因 为 无 论 是 大 数据 的 存 取 ， 还 是 大 数据 的 处 理 ， 大 数据 的 分 析 要 
受 限 于 当代 IT 技术 发 展 的 制约 。 正 因为 IT 技术 的 制约 ， 传 统 IT 技术 存 
储 处 理 能 力 受 限 ， 所 以 从 IT 技 术 角 度 才 感 觉 数据 太 “ 大 ”了 。 这 个 “大 ” 
表现 在 数据 量 的 大 ， 比 如 大 部 分 存储 设备 都 是 TB 级 ， 几 十 TB 到 数 百 
TB 以 及 对 传统 存储 而 言 是 很 高 的 数据 量 了 。 那 么 几 十 PB、 成 百 上 和 干 
PB 的 数据 量 自然 对 当前 存储 系统 而 言 是 “大 数据 ”了 。 存 储 数据 量 的 
“大 ”很 有 时 效 性 ， 因 为 大 家 都 清楚 ，20 世 纪 90 年 代 初 ，1GB 的 存储 空 
间 都 觉得 “大 ”得 不 得 了 。 现 在 说 1GB， 连 PC 机 内 存 配 置 都 觉得 不 够 。 
数据 量 级 之 外 的 大 数据 ， 涵 指数 据 格式 的 多 样 性 ， 特 别 是 大 家 已 经 熟 
知 的 图 片 、 音 频 、 视 频 、 网 页 、 日 志 等 半 结 构 化 、 非 结构 化 的 数据 。 
除数 据 格式 多 样 性 之 外 ， 其 还 有 数据 实时 性 要 求 、 数 据 价值 密度 等 维 
度 的 指 代 。 这 就 是 通常 大 家 比较 认可 的 大 数据 4V 特 性 。 
~ 体 量 (Volume) : 非 结 构 化 数据 超大 规模 地 增长 ， 占 总 数据 
量 的 80%~90%， 比 结构 化 数据 增长 快 10 倍 到 50 倍 ， 是 传统 数 
据 仓 库 的 10 倍 到 50 倍 。 

” 多 样 性 (Variety) : 大 数据 具有 异 构 的 多 样 性 ， 拥 有 许多 不 同 
形式 (文本 、 图 像 、 视 频 、 机 器 数据 ) ， 无 模式 或 者 模式 不 
明显 ， 拥 有 不 连贯 的 语法 或 句 义 。 


” 价值 密度 (Value) : 有 大 量 的 不 相关 信息 ， 对 未 来 趋势 与 模 
式 可 预测 分 析 ， 可 进行 深度 复杂 分 析 (机 器 学 习 、 人 工 智 能 
等 ) 。 

” 速度 《Velocity) : 实时 分 析 而 非 批 量 式 分 析 ， 对 于 实时 的 数 
据 输 入 、 处 理 与 丢弃 ， 分 析 结 果 立 竿 见 影 而 非 事 后 见效 。 

首先 是 对 Volume 的 理解 ， 非 结构 化 数据 一 直 存 在 ， 随 着 处 理 成 本 
的 降低 和 竞争 的 加 剧 ， 非 结构 化 数据 受到 越 来 越 多 的 重视 。 非 结构 化 
数据 并 不 是 完全 没有 “结构 ”的 数据 ， 而 是 包括 类 似 图 像 、 视 频 等 比较 
难以 计算 的 数据 ， 以 及 日 志 等 “结构 ”变化 相对 随意 、 不 严格 受 控 的 半 
结构 化 数据 。 

第 二 ， 无 论 是 结构 化 大 数据 ， 还 是 非 结 构 化 数据 ， 处 理 的 挑战 都 
非常 大 ， 由 于 竞争 的 加 剧 ， 丙 业 过 程 要 求 从 这 些 数据 中 进行 提取 有 效 
言 息 的 时 间 大 大 缩短 。 数 据 量变 大 的 同时 ， 还 要 求 提取 过 程 缩 得 ， 并 
且 提 取 过 程 本 身 也 越 来 越 复杂 化 ， 甚 至 对 同一 个 业务 问题 的 解答 ， 要 
求 用 不 同 模型 或 者 同一 模型 的 不 同 参数 加 以 对 比 印证 。 

不 同性 质 、 不 同 来 源 但 是 与 同一 个 商业 对 象 (比如 客户 ) 相关 的 
各 种 数据 〈 比 如 流 数据 、 块 数据 和 全 局 数据 ) 都 必须 在 一 个 系统 中 进 
行 有 效 整合 ， 形 成 对 这 个 商业 对 象 的 有 效 认 知 ， 从 而 驱动 商业 流程 。 

大 数据 环境 下 ， 数 据 来 源 非常 丰富 且 数 据 类 型 多 样 ， 存 储 和 分 析 
衬 据 的 数据 量 庞 大 ， 对 数据 展现 的 要 求 较 高 ， 并 且 很 看 重 数据 处 理 的 
高 效 性 和 可 用 性 。 传 统 的 数据 采集 来 源 单一 ， 且 存储 、 管 理 和 分 析 数 
据 量 也 相对 较 小 ， 大 多 采用 关系 型 数据 库 和 并 行 数据 仓库 即 可 处 理 。 
对 依 徘 并 行 计算 提 升 数据 处 理 速度 方面 而 言 ， 传 统 的 并 行 数据 库 技术 
追求 事务 写 的 一 致 性 和 容错 性 ， 难 以 保证 其 可 用 性 和 扩展 性 。 传 统 的 
数据 处 理 方法 是 以 处 理 器 为 中 心 ， 而 大 数据 环境 下 ， 需 要 采取 以 数据 


为 中 心 的 模式 ， 减 少数 据 移动 带 来 的 开销 。 因 此 ， 传 统 的 数据 处 理 方 
法 已 经 不 能 适应 大 数据 的 需求 。 针 对 非 结 构 化 数据 ， 利 用 分 布 式 文件 
系统 和 MapReduce 技 术 进 行 处 理 的 Hadoop 技 术 ; 针对 实时 类 数据 ， 采 
用 流 处 理 技术 ， 如 S4、Esper、Storm 技 术 ; 针对 结构 化 数据 ， 采 用 已 

相对 比较 成 熟 的 关系 型 数据 库 技术 ， 如 MPP RDB 技 术 、SMP OLTP、 

MPP OLAP 技 术 等 。 但 是 ， 任 何 技术 的 发 展 都 是 以 业务 为 根本 驱动 的 
( 见 图 10-1) 。 


全 = 一 一 ”一 一 一 = 一 一 一 一 一 一 一 一 = 一 = 
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Eee 
采用 分 布 式 文件 系统 
和 MapReduce 技 术 处 
理 Hadoopv 
继续 采用 关系 数据 库 ， | 
传统 DB 无 法 满足 容量 非 结构 数据 
上 的 需求 ， 出 现 基于 
MPP 技 术 的 并 行 数据 库 
(MPP RDB+SMP OLTP、 结构 化 数据 
MPP OLAP) 
实时 类 数据 | i a 
! 采用 流 处 理 技术 


」 (S4、ESPER、STORM) 


图 10-1 大 数据 处 理 技术 


10.1.1 ”数据 采集 技术 


数据 是 指 通 过 传感器 网 络 、 社 交 网 络 及 移动 互联 网 等 方式 获得 的 
各 种 类 型 的 结构 化 、 半 结构 化 及 非 结构 化 的 海量 数据 。 要 重点 突破 分 
布 式 高 速 、 高 可 靠 数 据 的 抽取 或 采集 、 高 速 数据 全 映像 等 大 数据 收集 
技术 ;突破 高 速 数 据 解析 、 转 换 与 洲 载 等 大 数据 整合 技术 ， 设 计 质 量 
评估 模型 ， 开 发 数据 质量 技术 。 

大 数据 采集 一 般 分 为 大 数据 智能 感知 层 : 主要 包括 数据 传 感 体 
系 、 网 络 通信 体系 、 传 感 适 配 体系 、 智 能 识别 体系 及 软 硬 件 资 源 接 入 


系统 ， 实 现 对 结构 化 、 半 结构 化 、 非 结构 化 的 海量 数据 的 智能 化 识 
别 、 定 位 、 跟 踪 、 接 入 、 传 输 、 信 号 转换 、 监 控 、 初 步 处 理 和 管理 
等 。 必 须 着 重 攻 克 针 对 大 数据 产 的 智能 识别 、 感 知 、 适 配 、 传 输 、 接 
入 等 技术 。 重 点 攻克 分 布 式 虚 拟 存 储 拷 术 ， 大 数据 获取 、 存 储 、 组 
织 、 分 析 和 决策 操作 的 可 视 化 接口 技术 ， 大 数据 的 网 络 传输 与 压缩 技 
术 ， 大 数据 隐私 保护 技术 ， 等 等 。 


10.1.2 ”数据 预 处 理 技 术 


本 环节 主要 完成 对 已 接收 数据 的 辨析 、 抽 取 、 清 洗 等 操作 。 因 获 
取 的 数据 可 能 具有 多 种 结构 和 类 型 ， 数 据 抽取 过 程 可 以 帮助 我 们 将 这 
些 复杂 的 数据 转化 为 单一 的 或 者 便于 处 理 的 类 型 ， 以 达到 快速 分 析 处 
理 的 目的 。 所 有 的 大 数据 并 不 全 是 有 价值 的 ， 有 些 数 据 并 不 是 我 们 所 
关心 的 内 容 ， 而 另 一 些 数据 则 是 完全 错误 的 干扰 项 ， 因 此 要 对 数据 进 
行 过 滤 “ 去 品 ”， 从 而 提取 出 有 效 的 数据 。 


10.1.3 ”数据 存储 及 管理 技术 


数据 存储 与 管理 要 用 存储 器 把 采集 到 的 数据 存储 起 来 ， 建 立 相 应 
的 数据 库 ， 并 进行 管理 和 调用 。 其 重点 解决 复杂 结构 化 、 半 结构 化 和 
非 结 构 化 大 数据 管理 与 处 理 技术 ， 包 括 大 数据 的 可 存储 、 可 表示 、 可 
处 理 、 可 靠 性 及 有 效 传 输 等 几 个 关键 问题 。 大 数据 存储 与 管理 还 需要 
可 靠 的 分 布 式 文件 系统 、 能 效 优化 的 存储 、 计 算 融 入 存储 、 大 数据 的 
去 多余 及 高 效 低 成 本 的 大 数据 存储 技术 、 分 布 式 非 关系 型 大 数据 管理 
与 处 理 技 术 、 异 构 数 据 的 数据 融合 技术 ， 数 据 组 织 技 术 、 大 数据 建 模 


技术 、 大 数据 索引 技术 、 大 数据 移动 /备份 /复制 等 技术 、 开 发 大 数据 可 
视 化 技术 等 。 


10.1.4 ”数据 分 析 及 挖掘 技术 


大 效 据 分 析 技 术 最 近 几 年 获得 了 很 大 的 进展 ， 包 括 改进 已 有 数据 
雪 掘 算法 和 机 器 学 习 技 术 ; 开发 数据 网 络 挖掘 、 特 异 群 组 挖掘 、 图 挖 
掘 等 新 型 数据 挖掘 技术 ; 突破 基于 对 象 的 效 据 连 接 、 相 似 性 连接 等 大 
数据 融合 技术 ; 突破 用 户 兴 趣 分 析 、 网 络 行为 分 析 、 情 感 语义 分 析 等 
面向 领域 的 大 数据 挖掘 技术 。 

数据 挖 扬 就 是 从 大 量 的 、 不 完全 的 、 有 了 品 声 的 、 模 糊 的 、 随 机 的 
实际 应 用 数据 中 ， 提 取 隐 含 在 其 中 的 、 人 们 事先 不 知道 的 但 又 是 潜在 
有 用 的 信息 和 知识 的 过 程 。 数 据 挖掘 涉及 的 技术 方法 很 多 ， 有 多 种 分 
类 方法 。 

根据 挖掘 任务 可 分 为 分 类 或 预测 模型 发 现 、 数 据 总 结 、 聚 类 、 关 
联 规则 发 现 、 序 列 模式 发 现 、 依 赖 关系 或 依赖 模型 发 现 、 异 剃 和 趋势 
发 现 等 。 

根据 挖掘 对 象 可 分 为 关系 数据 库 、 面 向 对 象 数据 库 、 空 间 效 据 
库 、 时 态 数 据 库 、 文 本 数据 产 、 多 媒体 数据 库 、 异 质数 据 库 、 遗 产 数 
据 库 以 及 环球 网 Web 等 。 

根据 挖掘 方法 分 ， 可 粗 分 为 机 器 学 习 方 法 、 统 计 方法 、 神 经 网 络 
方法 和 数据 库 方法 。 机 器 学 习 中 ， 可 细 分 为 归纳 学 习 方 法 (决策 树 、 
规则 归纳 等 ) 、 基 于 范例 学 习 、 遗 传 算法 等 。 统 计 方 法 中 ， 可 细 分 为 
回归 分 析 (多 元 回归 、 自 回归 等 ) 、 判 别 分 析 ( 贝 叶 斯 判别 、 费 敬 尔 
判别 、 非 参数 判别 等 ) 、 聚 类 分 析 (系统 聚 类 、 动 态 聚 类 等 ; 、 探 索 
性 分 析 〈 主 元 分 析 法 、 相 关 分 析 法 等 ) 等。 神经 网 络 方法 中 ， 可 细 分 


为 前 向 神经 网 络 (BP 算法 等 ) 、 自 组 织 神经 网 络 〈 自 组 织 特征 映射 、 
竞争 学 习 等 ) 等 。 数 据 库 方 法 主要 是 多 维 数据 分 析 或 OLAP 方 法 ， 另 外 
还 有 面向 属性 的 归纳 方法 。 
我 们 可 从 挖掘 任务 和 挖掘 方法 的 角度 ， 着 重 突破 。 
” 可视化 分 析 。 数 据 可 视 化 无 论 对 于 普通 用 户 或 是 数据 分 析 专 
家 ， 都 是 最 基本 的 功能 。 数 据 图 像 化 可 以 让 数据 上 自己 说 话 ， 
让 用 户 直观 地 感受 到 结果 。 
” 效 据 挖掘 算法 。 图 像 化 是 将 机 器 语言 翻译 给 人 看 ， 而 数据 挖 
所 就 是 机 器 的 母语 。 分 割 、 集 群 、 孤 立 点 分 析 还 有 五 花 八 门 
的 算法 供 我 们 精炼 数据 ， 挖 掘 价值 。 这 些 算法 一 定 要 能 够 应 
付 大 数据 的 量 ， 同 时 具有 很 高 的 处 理 速度 。 
”~ 预测 性 分 析 。 预 测 性 分 析 可 以 让 分 析 师 根据 图 像 化 分 析 和 数 
据 挖掘 的 结果 做 出 一 些 前 瞻 性 判断 。 
” 语义 引擎 。 语 义 引 擎 需要 有 足够 的 人 工 智 能 以 从 数据 中 主动 
地 提取 信息 。 语 言 处 理 技术 包括 机 器 翻译 、 情 感 分 析 、 和 与 情 
分 析 、 智 能 和 输入、 问答 系统 等 。 
效 据 质量 和 数据 管理 。 效 据 质量 与 管理 是 管理 的 最 佳 实 践 ， 
透 过 标准 化 流程 和 机 器 对 数据 进行 处 理 可 以 确保 获得 一 个 预 
设 质量 的 分 析 结 


10.1.5 “数据 展现 与 应 用 技术 


| 


大 数据 技术 能 够 将 隐藏 于 海量 数据 中 的 信息 和 知识 挖掘 出 来 ， 为 
人 类 的 社会 经 济 活动 提供 依据 ， 从 而 提高 各 个 领域 的 运行 效率 ， 大 大 
提高 整个 社会 经 济 的 集约 化 程度 。 在 我 国 ， 大 数据 将 重点 应 用 于 以 下 
几 大 领域 : 金融 、 电 商 、 公 共 服 务 ， 例 如 商业 智能 技术 、 政 府 决策 技 


术 、 电 信 数 据 信 息 处 理 与 挖掘 技术 、 电 网 数据 信息 处 理 与 挖掘 技术 、 
气象 信息 分 析 技 术 、 环 境 监 测 技术 、 大 规模 基因 序列 分 析 比 对 技术 、 
Web 信 息 挖 掘 技术 、 多 媒体 数据 并 行 化 处 理 技术 、 影 视 制作 泻 染 技术 
以 及 其 他 各 种 行业 的 云 计 算 和 海量 效 据 处 理应 用 技术 等 。 


10.2 企业 级 Hadoop 
10.2.1 Apache Hadoop 起 源 


Hadoop 由 Apache 基 金 会 于 2005 年 秋天 作为 Lucene 的 子 项 目 Nutch 的 
一 部 分 正式 引入 ， 该 技术 受到 最 先 由 Google 开 发 的 Map/Reduce 和 
Google File System (GFS) 的 启发 。2006 年 3 月 ，Map/Reduce 和 HDFS 

(GFS 的 开源 实现 ) 分 别 被 纳入 称 为 Hadoop 的 项 目 中 。Facebook 向 
Apache 基 金 会 贡献 了 Hive 后 ，Hadoop 系 统 具 备 了 以 类 SQL 方式 处 理 结 
构 化 数据 的 能 力 。2010 年 9 月 ，Hive 脱 离 Hadoop， 成 为 Apache 顶 级 项 
目 。HDFS、MapReduce、Hive 分 别 对 应 分 布 式 系统 的 存储 、 计 算 框 
染 、 结 构 化 分 析 能 力 。 

MapReduce 是 Google 在 2004 年 提出 的 一 个 编程 模型 ， 用 于 大 规模 
数据 集 (大 于 1TB) 的 并 行 运算 。 概 念 “Map (映射 ) ” “Reduce (化 
简 ) ”以 及 其 主要 思想 都 是 从 函数 式 编程 语言 里 借 来 的 ， 并 从 矢量 编程 
语言 里 借 来 了 特性 。 其 极 大 地 方便 了 编程 人 员 在 不 会 分 布 式 并 行 编程 
的 情况 下 ， 将 自己 的 程序 运行 在 分 布 式 系统 上 。 

GFS (Google File System) 是 Google 在 2003 年 发 表 的 文章 ， 但 现 
在 仍 被 广泛 讨论 ， 其 对 后 来 的 分 布 式 文 件 系统 设计 具有 指导 意义 。 
GFS 的 主要 假设 为 GFS 的 服务 器 都 是 普通 的 商用 计算 机 ， 并 不 可 靠 ， 集 
群 出 现 节点 故障 是 常态 。 系 统 存 储 适 当 数 量 的 大 文件 ， 理 想 的 负载 是 


几 百 万 个 文件 ， 文 件 一 般 都 超过 100MB，GB 级 别 以 上 的 文件 是 很 常见 
的 ， 必 须 进 行 有 效 管理 。 负 载 通常 包含 两 种 读 ， 即 大 型 的 流 式 读 ( 顺 
序 读 ) 和 小 型 的 随机 读 。 前 者 通常 一 次 读数 百 KB 以 上 ， 后 者 通常 在 随 
机 位 置 读 几 个 KB。 从 这 些 假设 基本 可 以 看 出 GFS 期 望 的 应 用 场景 应 该 
是 大 文件 、 连 续 读 、 不 修改 、 高 并 发 。HDFS 是 GFS 的 开源 实现 。 

Hive 是 Hadoop 项 目 中 的 一 个 子 项 目 ， 由 Facebook 向 Apache 基 金 会 
贡献 。Hive 被 视 为 一 个 数据 仓库 工具 ， 可 以 将 结构 化 的 数据 文件 映射 
为 一 张 数 据 库 表 ， 并 可 以 将 SQL 语句 转换 为 MapReduce 任 务 进行 运 
行 。 其 优点 是 学 习 成 本 低 ， 可 以 通过 类 SQL 语 句 快 速 实现 简单 的 
MapReduce 任 务 ， 不 必 开 发 专门 的 MapReduce 应 用 ， 十 分 适合 数据 仓库 
的 统计 分 析 。 

从 方案 的 架构 来 看 ，Hadoop 已 形成 一 整套 完整 的 生态 环境 ， 是 当 
前 最 重要 的 大 数据 平台 之 一 ， 具 有 民 好 的 并 行 处 理 能 力 、 可 扩展 性 和 
伸缩 能 力 ， 非 常 适合 处 理 半 结 构 化 、 非 结构 化 的 类 文本 数据 ， 如 网 
页 、 日 志 等 。 


10.2.2 ”企业 级 Hadoop 总 体 框架 


企业 级 Hadoop 可 系统 化 地 对 Apache Hadoop 进 行 增 强 ， 让 对 
Hadoop 缺 乏 了 解 的 专业 人 员 或 者 只 有 少量 Hadoop 专 业 人 员 的 企业 能 够 
利用 Hadoop 的 处 理 能 力 ， 解 决 本 企业 面临 的 与 大 数据 相关 业务 挑战 。 

企业 级 Hadoop 对 外 提供 大 容量 数据 分 析 和 查询 能 力 ， 解 决 各 大 企 
业 的 以 下 需求 〈 见 图 10-2) : 
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图 10-2 ”Hadoop 企 业 产 品 定位 

” 快速 地 整合 和 管理 不 同类 型 的 大 容量 数据 ; 

” 对 原生 形式 的 信息 采用 高 级 分 析 ; 

” 可 视 化 所 有 的 可 用 数据 ， 供 特殊 分 析 使 用 ; 

” 为 构建 新 的 分 析 应 用 程序 提供 开发 环境 ; 

” 工作 负 倚 的 优化 和 调度 。 

产品 化 的 Hadoop 需 要 在 开源 Hadoop 版 本 的 基础 上 对 HBase、HDFS 
和 MapReduce 等 组 件 增 加 HA、 查 询 和 分 析 功 能 ， 并 进行 性 能 优化 。 

Hadoop 需 要 支持 多 种 服务 器 的 硬件 平台 ， 供 企业 根据 自身 需求 灵 
活 选 择 。 用 户 可 以 通过 简单 地 去 加 相应 服务 的 内 存 要 求 来 计算 所 需要 
的 内 存 总 和 。 

产品 化 Hadoop 软 件 系统 整体 结构 如 图 10-3 所 示 。 
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图 10-3 ”Hadoop 软 件 系 统 架 构 
企业 级 Hadoop 产 品 ， 需 要 对 开源 组 件 进行 封装 和 增强 ， 对 外 提供 
稳定 的 数据 分 布 式 存 储 和 分 析 能 力 ， 包 括 数 据 的 访问 、 存 储 、 处 理 和 
保护 功能 ， 分 为 HDFS、HBase、MapReduce 和 ZooKeepero 
~ HDFS : Hadoop 分 布 式 文件 系统 (Hadoop Distributed File 
System) 能 提供 高 吞吐 量 的 数据 访问 ， 适 合 大 规模 数据 集 方 
面 的 应 用 。 
” HBase: 提供 海量 数据 存储 功能 ， 是 一 种 构建 在 HDFS 之 上 的 
分 布 式 、 面 向 列 的 存储 系统 。 
” MapReduce: 提供 快速 并 行 处 理 大 量 数据 的 能 力 ， 是 一 种 分 布 
式 数据 处 理 模 式 和 执行 环境 。 
” ZooKeeper: 提供 分 布 式 、 高 可 用 性 的 协调 服务 能 力 ， 帮 助 系 
统 避 免 单 点 故障 ， 从 而 建立 可 靠 的 应 用 程序 。 


10.2.3 HDFS 


HDFS ， 即 Hadoop 分 布 式 文件 系统 (Hadoop Distributed File 
System)， 能 提供 高 吞吐 量 的 数据 访问 ， 适 合 大 规模 数据 集 方面 的 应 
用 。HDFS 包 含 主 、 备 NameNode 和 多 个 DataNode。HDFS 是 一 个 
Master/Slave 的 结构 ， 在 Master 上 运行 NameNode， 而 在 每 一 个 Slave 上 
运行 DataNode。NameNode 和 DataNode 之 间 的 通信 都 是 建立 在 TCP/IP 的 
基础 之 上 的 。NameNode 和 DataNode 均 被 设计 为 可 以 部 署 在 Linux 服 务 


器 上 ( 见 图 10-4、 表 10-1) 。 
Name/Node 
( 主 / 备 ) 


TCP/IP 网 络 


构 


图 10-4 ”HDFS 结 构 


表 10-1 HDFS 各 功能 模块 说 明 表 


名 称 换 述 


NameNode | 用 于 管理 文件 系统 的 命名 空间 、 目 录 结 构 、 元 数据 信 
息 以 及 提供 备份 机 制 等 ， 分 为 : 
> Active NameNode: 管理 文件 系统 的 命名 空间 、 维 
护 文件 系统 的 目录 结构 树 以 及 NameNode 元 数据 信息 ， 
记录 写 入 的 每 个 “数据 块 ”与 其 归属 文件 的 对 应 关系 


>” Secondary NameNode: 对 Active NameNode 进 行 监 


空 ， 对 Active NameNode 中 的 数据 进行 备份 ， 随 时 准备 
在 Active NameNode 出 现 异常 时 接管 其 服务 


用 于 存储 每 个 文件 的 “数据 块 "数据 ， 并 且 会 周期 性 地 


DataNode i 
向 NameNode 报 告 该 DataNode 的 存放 情况 


HDFS 原 理 如 图 10-5 所 示 。 
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图 10-5 ”HDFS 工 作 原理 图 

在 HDFS 内 部 ， 一 个 文件 可 分 为 一 个 或 多 个 “数据 块 "， 这 些 “ 数 据 

块 ”存储 在 DataNode 集 合 里 。 客 户 端 连接 到 NameNode， 执 行文 件 系统 
的 “命名 空间 ”操作 ， 例 如 打开 、 关 闭 、 重 命名 文件 和 目录 ， 同 时 决定 
“数据 块 ” 到 具体 DataNode 节 点 的 上 映射。DataNode 在 NameNode 的 指挥 下 
进行 “数据 块 ” 的 创建 、 删 除 和 复制 。 


和 责 保管 和 管理 所 有 的 HDFS 元 数据 ， 所 以 用 户 数 
据 的 读 写 就 不 需要 通过 NameNode， 而 是 直接 在 DataNode 上 进行 。 


10.2.4 MapReduce 


MapReduce 是 一 种 简化 并 行 计算 的 编程 模型 ， 名 字源 于 该 模型 中 
的 两 项 核心 操作 : Map 和 Reduce。 | 
Reduce 将 分 解 后 多 任务 处 理 的 结果 汇总 起 来 ， 得 出 最 终 的 分 析 结 果 。 
MapReduce 模型 主要 由 ResourceManager 、 ApplicationMaster 和 
NodeManager 组 成 ， 如 图 10-6 所 示 。 
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图 10-6 ”MapReduce 框 架 (基于 Yarn) 架构 
MapReduce 各 部 分 的 功能 说 明 如 表 10-2 所 示 。 
表 10-2 ”结构 图 说 明 


名 称 换 述 


Client MapReduce 的 客户 端 ， 可 以 通过 客户 端 向 
ResourceManager 发 起 MapReduce 操 作 


MapReduce 的 资源 管理 器 ， 基 于 应 用 程序 对 资 
产 的 需求 进行 调度 ; 由 于 每 一 个 应 用 程序 需 
不 同类 型 的 资源 ， 因 此 需要 不 同 的 容器 ; 同 
时 ， 资 源 管理 器 提供 一 个 调度 策略 的 插件 ， 它 
负责 将 集群 资源 分 配给 多 个 队列 和 应 用 程序 ，; 
调度 插件 可 以 基于 现 有 的 能 力 调度 和 公平 调度 
模型 进行 调度 


ResourceManager 


负责 执行 应 用 程序 的 容器 ， 有 应 用 程序 
NodeManager 的 资源 使 用 情况 (CPU、 内 存 、 硬 盘 、 网 
络 ) ， em an 


负责 相应 的 调度 和 协调 ， 结 合 从 
ApplicationMaster | ResourceManager 获 得 的 资产 和 NodeManager 协 
同 工 作 来 运行 和 监控 任务 


作为 资源 隔离 ， 当 前 仅仅 提供 java 虚 拟 机 CPU、 
内 存 的 隔离 


Container 


新 的 Hadoop MapReduce 框 架 命名 为 MapReduceV2 或 者 Yarn。 
Hadoop MapReduce 新 框架 主要 分 为 ResourceManager 、 
ApplicationMaster 与 NodeManager 三 个 部 分 。 


” ResourceManager 核 心服 务 ， 负 责 调度 、 局 动 每 一 个 Job 所 属 的 
ApplicationMaster、 同 时 监控 ApplicationMaster 的 运行 情况 。 
ResourceManager 负 责 作 业 与 资源 的 调度 ， 并 接收 JobSubmitter 
提交 的 作业 ， 按 照 作 业 的 上 下 文 (Context) 信息 ， 以 及 从 
NodeManager 收 集 来 的 状态 信息 ， 启 动 调度 过 程 ， 分 配 一 个 
Container 作 为 ApplicationMaster。 

” NodeManager 功 能 比较 专 一 ， 就 是 负责 Container 状 态 的 维护 ， 
并 向 ResourceManager 保 持 心跳 。 

> ApplicationMaster 负 责 一 个 Job 生 命 周 期 内 的 所 有 工作 ， 类 似 老 
框架 中 的 JobTracker。 但 注意 每 一 个 Job (不 是 每 一 种 ) 都 有 
一 个 ApplicationMaster ， 它 可 以 运行 在 ResourceManager 以 外 
的 机 器 上 。 


10.2.5 ZooKeeper 


ZooKeeper 是 一 个 分 布 式 、 高 可 用 性 的 协调 服务 。 产 品 化 Hadoop 系 
统 中 主要 提供 两 个 功能 : 
” 帮助 系统 避免 单 点 故障 ， 建 立 可 靠 的 应 用 程序 ; 
” 提供 分 布 式 协作 服务 和 维护 配置 信息 。 
ZooKeeper 集 群 中 的 节点 分 为 三 种 角色 ， 即 Leader、Follower 和 
Observer， 其 结构 和 相互 关系 如 图 10-7 所 示 。 
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图 10-7 ZooKeeper 结 构图 
ZooKeeper 各 部 分 的 功能 说 明 如 表 10-3 所 示 。 
表 10-3 ”ZooKeeper 各 部 分 的 功能 说 明 


名 称 换 述 


在 Zookeeper 集 群 中 只 有 一 个 节点 作为 集群 的 领导 者 ， 由 
各 Follower 通 过 Paxos 算 法 选举 产生 ， 主 要 负责 接受 和 协 


Lead 
~ | 调 所 有 写 请 求 ， 并 把 写 入 的 信息 同步 到 Follower 和 
Observer 
Follower 的 功能 有 两 个 : 
> 每 个 Follower 都 作为 Leader 的 储备 ， 当 Leader 故 障 时 
Follower 


重新 选举 Leader， 避 免 单 点 故障 ; 
~ 配合 Leader 一 起 进行 写 请 求 处 理 


Observer | Observer 不 参与 选举 ， 负 责 接受 写 请 求 、 处 理 读 请 求 ， 
避免 系统 处 理 能 力 浪 费 


Zookeeper 集 群 的 客户 端 ， 对 Zookeeper 集 群 进行 读 写 操 
作 。 例 如 HBase 可 以 作为 Zookeeper 集 群 的 客户 端 ， 利 用 
Zookeeper 集 群 的 仲裁 功能 ， 控 制 其 HMaster 的 “Active” 和 
“Standby” 状 态 


Client 


ZooKeeper 写 请 求 原理 : 
” Follower 或 Observer 接 受到 写 请 求 后 ， 转 发 给 Leader; 
” Leader 协 调 各 Follower ， 通 过 投票 机 制 决 定 是 否 接受 该 写 请 
求 ; 
” 投票 结果 为 接受 ， 则 由 Leader 处 理 写 请 求 ; 
” 数据 写 入 完成 后 ，Leader 向 Follower 和 Observer 同步 ， 保 证 所 
有 节点 的 数据 一 致 性 。 
ZooKeeper 只 读 请 求 原理 : 客户 端 直 接 向 Leader、Follower 或 
Observer 读 取 数 据 。 


10.2.6 HBase 


HBase 是 一 种 构建 在 HDFS (Hadoop Distributed File System) 之 上 
的 分 布 式 、 面 向 列 的 存储 系统 ， 它 具有 高 可 靠 、 高 性 能 、 面 向 列 和 可 
伸缩 的 特性 。HBase 适 合 于 存储 大 表 数 据 ( 表 的 规模 可 以 达到 数 十 亿 行 
以 及 数 百 万 列 ) ， 并 且 对 大 表 数 据 的 读 、 写 访问 可 以 达到 实时 级 别 。 

HBase 集 群 由 主 备 HMaster 进 程 和 多 个 RegionServer 进 程 组 成 ， 如 
10-8 所 示 。 
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图 10-8 HBase 结 构 
HBase 各 部 分 的 功能 说 明 如 表 10-4 所 示 。 
表 10-4 HBase 功 能 说 明 


名 称 描述 


主 用 HMaster 负 责 管理 RegionServer 节 点 ， 同 时 维护 


主 用 HM 
“es 9 | 集群 的 网 络 拓扑 以 及 集群 的 负载 均 和 


当主 用 HMaster 故 障 时 ， 备 用 HMaster 将 取代 主 用 
备用 HMaster | HMaster 对 外 提供 服务 ;故障 恢复 后 ， 原 主 用 
HMaster 降 为 备用 


RegionServer | RegionServer 负 责 提 供 表 数据 读 写 等 服务 ， 是 HBase 


的 数据 处 理 和 计算 单元 ; RegionServer 一 般 与 HDFS 
集群 的 DataNode 合 设 ， 实 现 数 据 的 存储 功能 


ZooKeeper 为 HBase 集 群 中 各 进程 提供 分 布 式 协作 服 


ZooKeeper 集 

癌 a 务 ; 各 RegionServer 将 自己 的 信息 注册 到 Zookeeper 
中 ，HMaster 据 此 感知 各 个 RegionServer 的 健康 状态 
HDFS 为 HBase 提 供 高 可 靠 的 文件 存储 服务 ，HBase 

HDFS 集 群 


的 数据 全 部 存储 在 HDFS 中 


HBase 以 表 的 形式 存储 数据 ， 数 据 模型 如 图 10-9 所 示 。 表 中 的 数据 
划分 为 多 个 Region， 并 由 HMaster 分 配给 对 应 的 RegionServer 进 行 管 
理 ， 每 个 Region 包 含 了 表 中 一 段 Row Key 区 间 沁 围 内 的 数据 ，HBase 的 
一 张 数据 表 开 始 只 包含 一 个 Region， 随 着 表 中 数据 的 增多 ， 当 一 个 


Region 的 大 小 达到 容量 上 限 后 会 分 裂 成 两 个 Region。 


Row Key Timestamp Column Family 1 Column Family N 
URL Content Column 1 Column2 

Fr--------------------------------------------- 一 ~ 
Row!l 多 www.huawei.com "<html>" - 
1 
wl www.huawei.com "<html>" : | 
Region | 
| 
1 
RowM le 本 Be 
ee ge hhh 
RowM+1 tl | 
1 
RowM+2 3 ' 
这 Region : 
tl | 
1 
一 二 一 一 一 一 一 一 一 一 一 一 一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 一 一 一 一 - 
RowN . 1 
Region | 


图 10-9 ”HBase 数 据 模型 


HBase 数 据 模 型 中 各 列 的 说 明 如 表 10-5 所 示 。 
表 10-5 ”数据 模型 列 说 明 表 


名 称 换 述 


W Pan O K 
和 序 进行 持 E 


ee 插入 数据 时 对 应 的 时 间 惟 ，HBase 支 持 相 同 Row Key 的 
了 5 | 多 版 本 数据 存储 


列 族 ，HBase 中 表 在 水 平方 向 上 由 一 个 或 者 多 个 
a Column Family 组 成 ， 一 个 Column Family 由 任意 多 个 
Family 
Column 组 成 
a 列 ， 与 传统 的 数据 库 类 似 ，HBase 的 表 中 也 有 列 的 概 
mn 
8 念 ， 列 用 于 表示 相同 类 型 的 数据 


RegionServer 数 据 存 储 : RegionServer 主 要 负责 管理 由 HMaster 分 配 
的 Region，RegionServer 的 数据 存储 结构 如 图 10-10 所 示 。 


ReglonServer 


Store 


图 10-10 RegionServer 的 数据 存储 结构 
Region 的 各 部 分 的 说 明 如 表 10-6 所 示 。 
表 10-6 “Region 结构 说 明 


名 称 换 述 


一 个 Region 由 一 个 或 多 个 Store 组 成 ， 每 个 Store 对 应 图 
Store 
10-10 中 的 一 个 Column Family 


一 个 Store 包 含 一 个 MemStore，MemStore 缓 存 客户 端 向 

Region 插 入 的 数据 ， 当 RegionServer 中 的 MemStore 大 小 
MemStore 

达到 配置 的 容量 上 限时 ，RegionServer 会 将 MemStore 中 


的 数据 “flush” 到 HDFS 中 


StoreFile | MemStore 的 数据 “flush” 到 HDFS 后 成 为 StoreFile， 随 着 
数据 的 插入 ， 一 个 Store 会 产生 多 个 StoreFile， 当 


StoreFile 的 个 数 达到 配置 的 最 大 值 时 ，RegionServer 会 
将 多 个 StoreFile 合 并 为 一 个 大 的 StoreFile 


本 


HFile 定 义 了 StoreFile 在 文件 系统 中 的 存储 格式 ， 它 是 当 


HFile » 

前 HBase 系 统 中 StoreFile 的 具体 实现 

HLog 日 志保 证 了 当 RegionServer 发 生 故 障 时 用 户 写 入 的 
HLog 数据 不 丢失 ，RegionServer 的 多 个 Region 共 享 一 个 相同 


的 HLog 


元 数据 表 是 HBase 中 一 种 特殊 的 表 ， 用 来 帮助 Client 定 位 到 具体 的 
Region， 包 括 “.META.” 表 和 “-ROOT-” 表 。 
> “META.” 表 : 记录 用 户 表 的 Region 人 信息， 例如 Region 位 置 、 起 
台 Row Key 及 结束 Row Key 等 信息 。 
> “-ROOT-” 表 : 记录 “.META.” 表 的 Region 信 息 。“-ROOT-” 表 不 
会 分 裂 ， 因 此 只 有 一 个 Region 包 含 “-ROOT-” 表 。 
元 数据 表 和 用 户 表 的 映射 关系 如 图 10-11 所 示 。 


图 10-11 元 数据 表 和 用 户 表 的 映射 关系 


数据 操作 流程 


HBase 数 据 操 作 流 程 如 图 10-12 所 示 。 
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图 10-12 ”HBase 数 据 操作 流程 
(1) 当 Hadoop 对 HBase 进 行 增 、 删 、 改 、 查 数据 操作 时 ，HBase 
Client 首 先 连 接 ZooKeeper 获 得 “<-ROOT-” 表 所 在 的 RegionServer 的 信息 。 


(2 ) HBase Client 连接 到 “ROOT” 表 的 Region 所 在 的 
RegionServer， 并 获得 <.META.” 表 的 Region 的 信息 。 

(3) HBase Client 连 接 到 包含 对 应 的 .META.” 表 的 Region 所 在 的 
RegionServer， 并 获得 相应 的 用 户 表 的 Region 所 在 的 RegionServer 位 置 
信息 。 

(4) HBase Client 连接 到 对 应 的 用 户 表 Region 所 在 的 
RegionServer， 并 将 数据 操作 命令 发 送 给 该 RegionServer，RegionServer 
接收 并 执行 该 命令 ， 从 而 完成 本 次 数据 操作 。 

为 了 提升 数据 操作 的 效率 ，HBase Client 会 在 内 存 中 缓存 “- 
ROOT”“.META.” 和 用 户 表 Region 的 信息 ， 当 应 用 程序 发 起 下 一 次 数 
据 操 作 时 ，HBase Client 会 首先 从 内 存 中 获取 这 些 信息 ; 当 内 存 中 缓存 
的 数据 信息 与 系统 中 的 实际 信息 不 一 致 时，HBase Client 会 重复 上 述 操 
作 。 


10.2.7 Hive 


Hive 是 一 个 基于 Hadoop 的 开源 的 数据 仓库 平台 ， 通 过 Hive， 可 以 
方便 地 进行 数据 提取 转化 加 载 (ETL) 的 工作 ， 提 供 类 似 SQL 的 HQL 
语言 ， 操 作 结 构 化 数据 存储 服务 和 基本 的 数据 分 析 服 务 。HQL 能 够 将 
用 户 编写 的 SQL 转化 为 相应 的 MapReduce 程 序 。 当 然 ， 用 户 也 可 以 上 自 
定义 Mapper 和 Reducer 来 完成 复杂 的 分 析 工 作 。 基 于 MapReduce 的 Hive 
具有 民 好 的 扩展 性 和 容错 性 。 不 过 由 于 MapReduce 缺 乏 结 构 化 数据 分 
析 中 有 价值 的 特性 ， 以 及 Hive 缺 乏 对 执行 计划 的 充分 优化 ， 导 致 Hive 
在 很 多 场景 下 比 并 行 数据 仓库 慢 (在 几 十 台 机 器 的 小 规模 下 可 能 相差 
更 大 ) 。 

Hive 主 要 特点 如 下 : 


” 海量 结构 化 数据 分 析 汇总 ; 

” 将 复杂 的 MapReduce 编 写 任 务 简 化 为 SQL 语句 ; 

”灵活 的 数据 存储 格式 ,支持 JSON、CSV、TEXTFILE、 
RCFILE、SEQUENCEFILE 这 几 种 存储 格式 。 

为 保证 Hive 服 务 的 高 可 用 性 、 用 户 数 据 的 安全 及 访问 服务 的 可 控 
制 性 ， 在 开源 社区 的 Hive-0.9.0 版 本 上 新 增 双 机 特性 和 安全 特性 。 

开源 社区 的 Hive 特性 ， 请 参见 
https://cwiki.apache.org/confluence/display/Hive/DesignDocso 

Hive 双 机 特性 采用 基于 双 机 设备 ， 即 基于 主 备 切换 方式 的 服务 器 
设备 来 保证 Hive 服 务 的 高 可 用 性 。 在 同一 时 间 内 只 有 一 个 Hive Server 
运行 ， 当 主 Hive Server 出 现 故 障 无 法 继续 提供 服务 时 ， 备 Hive Server 会 
被 激活 ， 保 证 业务 在 短 时 间 内 完全 恢复 正常 使 用 。 

通过 Zookeeper 的 Master Election 机 制 保 证 总 有 一 个 Hive Server 正 党 
运行 并 提供 服务 。 主 备 两 个 HiveServer 以 Ephemeral 方 式 分 别 注 册 到 
Zookeeper 中 ， 使 得 其 中 一 个 Hive Server 出 现 故障 时 ， 能 够 及 时 选举 并 
恢复 服务 。 同 时 ，Zookeeper 中 存储 主 Hive Server 的 IP 地 址 。Hive 客 户 
端 可 通过 Zookeeper 获 取 主 Hive Server 的 IP 地 址 来 连接 Hive Server 以 获 
得 服务 。 

在 双 机 环境 下 ， 需 要 知道 Zookeeper 的 IP 地 址 和 端口 才能 获取 主 
Hive Server 的 地 址 ; 在 安全 环境 下 ， 除 了 需要 Zookeeper 的 IP 地 址 和 站 
口 信息 外 ， 还 需要 连接 Zookeeper 的 相关 认证 信息 。 

Hive 用 户 认 证 采用 的 是 基于 Kerberos 的 认证 。Kerberos 是 一 种 适用 
于 在 公共 网 络 上 进行 分 布 计算 的 工业 标准 的 安全 认证 系统 。 用 户 通过 
Hive 客 户 端 和 Hive Server 建 立 连 接 时 ， 需要 进行 双向 认证 。 当 用 户 是 
Kerberos KDC 的 合法 用 户 时 ， 其 才能 够 通过 认证 ， 访 问 Hive 的 服务 。 


认证 方法 为 用 户 使 用 用 户 名 (Principal) 及 Keytab 文 件 登 录 KDC， 登 录 
成 功 ， 则 表示 认证 通过 。 

Hive 使 用 user、group、role 对 权限 进行 管理 。 在 Hive 中 ， 进 行 数据 
定义 、 加 载 和 查询 都 需要 相应 的 操作 权限 。 

Hive 作 为 强大 的 数据 仓库 和 数据 分 析 平 台 至 少 需 要 具备 以 下 几 点 
特性 : 

” 灵活 的 存储 引擎 ; 

” 高效 的 执行 引擎 ; 

” 性 能 恨 好 的 索引 机 制 |; 

” 民 好 的 可 扩展 性 ; 

” 强大 的 容 销 机 制 |; 

” 多 样 化 的 可 视 化 。 

先 看 看 Hive 是 否 完全 具备 了 以 上 几 点 ， 以 及 与 传统 的 并 行 数据 仓 
库 对 比 优 劣 如 何 。 


存储 引擎 


Hive 疫 有 自己 专门 的 数据 存储 格式 ， 也 没有 为 数据 建立 索引 ， 用 
户 可 以 非常 自由 地 组 织 Hive 中 的 表 ， 只 要 在 创建 表 时 告诉 Hive 数 据 中 
的 列 分 隔 答 和 行 分隔 符 ，Hive 就 可 以 解析 数据 。Hive 的 元 数据 存储 在 
RDBMS 中 ， 所 有 数据 都 基于 HDFS 存 储 。Hive 包 含 Table、External 
Table、Partition 和 Bucket 等 数据 模型 。 

并 行 数据 仓库 需要 先 把 数据 装载 到 数据 库 中 ， 按 特定 的 格式 人 存 
储 ， 然 后 才能 执行 查询 。 每 天 需要 花费 几 个 小 时 将 数据 导入 并 行 数据 
库 中 ， 而 且 随 着 数据 量 的 增长 和 新 的 数据 产 加 入 ， 导 入 时 间 会 越 来 越 


长 。 导 入 时 大 量 的 写 IO 与 用 户 查 询 的 读 IMO 产 生 竞争 ， 会 导致 查询 的 性 
能 很 差 。 

Hive 执 行 查询 前 无 需 导 入 数据 ， 直 接 执 行 计划 。Hive 支 持 默 认 的 
多 种 文件 格式 ， 同 时 可 以 通过 实现 MapReduce 的 InputFormat 或 
OutputFormat 类 ， 由 用 户 定 制 格式 。 因 为 公司 的 数据 种 类 很 多 ， 存 储 于 
不 同 的 数据 源 系统 ， 如 MySQL、HDFS 或 者 Hypertable 等 ,很 多 时 候 
Hive 的 分 析 过 程 会 用 到 各 种 数据 源 的 数据 。 当 然 使 用 多 个 存储 数据 
产 ， 除 了 功能 上 要 能 够 支持 导入 /导出 之 外 ， 如 何 根据 各 种 存储 产 的 能 
力 和 执行 流 获得 最 优 执 行 计划 也 是 一 件 麻 烦 的 事情 。 


执行 引擎 


MR 对 于 Map 和 Reduce job 间 的 数据 传输 处 理 方式 具有 潜在 的 性 能 
问题 。 假 设 有 N 个 Map instance， 每 个 产生 M 个 输出 文件 ， 每 个 输出 文 
件 指向 不 同 的 Reduce instance。 这些 文 件 会 被 写 到 执行 Map instance 节 
点 的 本 地 磁盘 。 如 果 N 是 1000，M 是 500， 那 么 Map 阶 段 将 会 产生 500 
000 个 本 地 文件 。 当 Reduce 阶 段 开始 时 ，500 个 Reduce instance 中 每 个 都 
需要 读 取 1000 个 输入 文件 ， 同 时 必须 使 用 一 个 文件 传输 协议 从 每 个 
Map instance 所 运行 的 节点 处 拉 取 输入 文件 。 假 设 同 时 有 100 个 Reduce 
instance 并 行 执 行 ， 不 可 避免 地 将 会 有 两 个 或 者 更 多 的 Reduce instance 
同时 在 同一 个 节点 上 试图 读 取 文 件 ， 这 就 会 产生 大 量 的 磁盘 seek 操 
作 ， 从 而 降低 磁盘 传输 效率 。 这 也 是 为 什么 并 行 数据 库 系统 没有 将 它 
们 的 中 间 数 据 保存 为 文件 ， 并 且 采 用 了 一 种 推 模式 而 不 是 拉 模 式 进 行 
数据 传输 的 原因 。 


并 行 数 据 仓 库 使 用 优化 器 进行 性 能 优化 。 在 生成 执行 计划 时 ， 利 
用 元 数据 信息 估算 执行 流 上 各 个 算 子 要 处 理 的 数据 量 和 处 理 开销 ， 进 
而 选取 最 优 的 执行 计划 。 并 行 数据 仓库 实现 了 各 种 执行 算 子 (Sort、 
GroupBy、Union 和 Filter 等 ) 。 优 化 器 可 以 灵活 地 选择 这 多 个 算 子 以 实 
现 不 同类 别 的 性 能 优化 。 此 外 ， 并 行 数据 仓库 还 拥有 完备 的 索引 机 
制 ， 包 括 磁 盘 布 局 、 缓 存 管理 和 1/O 管 理 等 多 个 层面 的 优化 ， 这 些 都 对 
查询 性 能 至 关 重 要 ， 而 这 恰恰 是 Hive 的 不 足 之 处 。 

Hive 的 编译 器 负责 编译 源 代 码 并 生成 最 终 的 执行 计划 ， 包 括 语法 
分 析 、 语 义 分 析 、 目 标 代 码 生 成 ， 所 做 的 优化 并 不 多 。Hive 基 于 
MapReduce，Hive 的 Sort 和 GroupBy 都 依赖 MapReduce。 而 MapReduce 
相当 于 固化 了 执行 算 子 ，Map 的 MergeSort 必 须 执行 ，GroupBy 算 子 也 
只 有 一 种 模式 ，Reduce 的 Merge-Sort 也 必须 可 选 。 另 外 Hive 对 Join 算 子 
的 支持 也 较 少 。 另 外 ， 内 存 复制 和 数据 预 处 理 也 会 影响 Hive 的 执行 效 
率 。 当 然 ， 数 据 预 处 理 可 能 会 影响 数据 的 导入 效率 ， 这 需要 根据 应 用 
特点 进行 权衡 。 


索引 机 制 


所 有 的 现代 DBMS 都 使 用 hash 或 者 B 树 索引 来 加 速 数据 访问 。 如 果 
某 人 要 查找 一 个 记录 子 集 (比如 工资 大 于 100 000 美 元 的 雇员 ) ， 那 么 
使 用 合适 的 索引 可 以 明显 缩小 查询 的 范围 。 大 部 分 数据 库 都 允许 单个 
表格 具有 多 个 索引 。 因 此 ， 查 询 优 化 器 可 以 决定 为 用 户 查 询 使 用 哪个 
索引 或 者 是 简单 地 采用 一 个 暴力 的 顺序 搜索 。 

Hive 在 加 载 数 据 的 过 程 中 不 会 对 数据 进行 任何 处 理 ， 甚 至 不 会 对 
数据 进行 扫描 ， 因 此 也 没有 对 数据 中 的 某 些 Key 建 立 索 引 。Hive 要 访问 


效 据 中 满足 条 件 的 特定 值 时 ， 需 要 暴力 扫描 整个 数据 ， 因 此 访问 延迟 
较 高 。 由 于 MapReduce 的 引入 ，Hive 可 以 并 行 访问 数据 ， 即 使 没有 索 
引 ， 对 于 大 数据 量 的 访问 ，Hive 仍 然 可 以 体现 出 优势 。 由 于 数据 的 访 
问 延迟 较 高 ， 决 定 了 Hive 不 适合 在 线 数据 查询 。 


扩展 性 


并 行 数据 仓库 可 以 很 好 地 扩展 到 几 十 或 上 百 个 节点 的 集群 ， 并 且 
达到 接近 线性 的 加 速 比 。 然 而 ， 今 天 的 大 数据 分 析 需 要 的 可 扩展 性 远 
远 超过 这 个 数量 ， 经 常 需要 达到 数 百 甚至 上 千 节 点 。 目 前 ， 几 乎 没有 
哪个 并 行 数据 仓库 运行 在 这 么 大 规模 的 集群 上 ， 这 涉及 多 个 方面 的 原 
因 。 并 行 数据 仓库 假设 底层 集群 节点 完全 同 构 ， 并 行 数据 仓库 认为 节 
点 故障 是 很 少 出现 的 ; 并 行 数据 仓库 设计 和 实现 基于 的 数据 量 并 未 达 
到 PB 级 或 者 EB 级 。 

与 并 行 数据 仓库 不 同 的 是 ，Hive 更 加 关注 水 平 扩展 性 。 简 单 来 
讲 ， 水 平 扩 展 性 指 系 统 可 以 通过 简单 地 增加 资源 来 支持 更 大 的 数据 量 
和 负载 。 

Hive 处 理 的 数据 量 是 PB 级 的 ， 而 且 每 小 时 每 天 都 在 增长 ， 这 就 使 
得 水 平 扩 展 性 成 为 一 个 非常 重要 的 指标 。Hadoop 系 统 的 水 平 扩展 性 是 
非常 好 的 ， 基 于 MapReduce 框 架 ，Hive 能 够 很 自然 地 利用 这 一 点 。 


容错 性 


Hive 具 有 较 好 的 容错 性 。Hive 的 执行 计划 在 MapReduce 框 架 上 以 
作业 的 方式 执行 ， 每 个 作业 的 中 间 结 果 文 件 写 到 本 地 磁盘 ， 最 终 输 出 
文件 写 到 HDFS 文 件 系统 ， 利 用 HDFS 的 多 副本 机 制 来 保证 数据 的 可 靠 


性 ， 从 而 达到 作业 的 容错 性 。 如 果 在 作业 执行 过 程 中 某 节点 出 现 故 
障 ， 那 么 Hive 执 行 计划 基本 不 会 受到 影响 。 因 此 ， 基 于 Hive 实 现 的 数 
据 仓 库 可 以 部 署 在 由 普通 机 器 构建 的 分 布 式 集群 之 上 。 

当 某 个 执行 计划 在 并 行 数据 仓库 上 运行 时 ， 若 某 节点 发 生 故 障 ， 
则 必须 重新 执行 该 计划 。 所 以 ， 当 集群 中 的 单 点 故障 (可 能 是 磁盘 故 
障 等 ) 发 生 率 较 高 时 ， 并 行 数 据 仓 库 的 性 能 就 会 下 降 。 在 实际 生产 环 
境 中 ， 假 设 每 个 节点 故障 发 生 率 是 0.01%， 那 么 1000 个 节点 的 集群 中 单 
点 故障 发 生 率 则 为 10%。 这 个 数字 并 非 委 人 听闻 ， 处 理 海 量 数据 的 /O 
密集 型 应 用 集群 ， 平 均 每 月 的 机 器 故障 率 达 到 1% 人 10%。 当然 这 些 机 
器 可 能 是 2 万 一 3 万 元 的 普通 机 型 。 


可 视 化 


Hive 的 可 视 化 界面 基本 属于 字符 终端 ， 用 户 的 技术 水 平一 般 比 较 
高 。 面 向 不 同 的 应 用 和 用 户 ， 提 供 个 性 化 的 可 视 化 展现 ， 是 Hive 改 进 
的 一 个 重要 方向 。 个 性 化 的 可 视 化 也 可 以 理解 为 用 户 群 体 的 分 层 ， 例 
如 图 形 界面 方式 提供 初级 用 户 ， 简 单 语言 方式 提供 中 级 用 户 ， 复 杂 程 
序 方式 提供 高 级 用 户 。 


10.3 ” 流 处 理 
10.3.1 ” 流 处 理 的 应 用 场景 


对 大 数据 技术 不 熟悉 的 人 而 言 ， 流 处 理 技术 最 容易 让 人 联想 到 的 
视频 和 音频 这 种 流 媒体 实时 处 理 ， 比 如 视频 监控 ， 一 边 拍 着 视频 ， 
边 对 视频 内 容 做 实时 的 分 析 处 理 ， 比 如 在 城市 建设 里 ， 通 过 摄像 关 


三 | 
和 让 


能 动态 查找 犯罪 嫌疑 人 。 在 反 怒 动 作 片 里 ， 利 用 大 数据 分 析 技 术 上 自动 
定位 、 查 找 出 怒 怖 分 子 。 很 遗憾 ， 目 前 大 数据 分 析 技 术 中 ， 流 处 理 技 
术 还 没有 这 么 先进 。 之 所 以 没有 达到 这 么 理想 的 效果 ， 也 不 都 是 大 数 
据 分 析 处 理 的 问题 ， 除 了 大 数据 分 析 处 理 还 不 够 强大 外 ， 配 套 设 施 也 
不 是 很 先进 ， 比 如 我 们 的 摄像 头 还 无 法 把 在 摄像 范围 内 的 人 脸 担 得 那 
么 清晰 ， 特 别 是 现在 雾 栖 比较 严重 的 情况 下 ， 摄 像 头 的 表现 并 没有 比 
人 有 眼 出 色 多 少 。 模 糊 处 理 技术 也 还 不 够 智能 ， 当 前 的 数据 分 析 最 多 能 
把 活动 目标 进行 锁定 而且 还 是 在 夜深人静 、 干 扰 很 少 的 情况 下 ) ， 
并 判断 其 活动 轨迹 和 活跃 度 (速度 ) ， 至 于 这 个 活动 目标 是 不 是 嫌疑 
人 ， 还 得 求助 警察 通过 进一步 的 工作 来 完成 。 
当前 的 流 处 理 技术 ， 更 多 地 侧重 于 结构 化 、 半 结构 化 的 文本 类 文 
件 ， 如 日 志 类 文件 的 处 理 ， 其 特征 是 : 事件 驱动 、 实 时 处 理 (数据 先 
计算 ， 不 存储 或 后 存储 ) 、 毫 秒 / 秒 级 (分 析 响 应 速度 要 求 ; 、 实 时 监 
控 、 高 级 事件 触发 、 立 即 事件 浅 加 工 。 
流 处 理 技术 能 解决 哪些 间 题 呢 ? 下 面 举 几 个 例子 : 
” 对 于 电信 运营 商 : 当前 网 络 质量 是 什么 状态 ? 有 什么 异常 点 
发 生 ? 
” 对 于 券商 : 当前 是 否 可 以 买 入 或 者 卖 出 一 支 股票 ? 
” 对 于 信用 卡 银行 : 当前 是 否 发 生 了 异常 、 欺 诈 交 易 ? 可 以 给 
用 尸 提 供 什么 推荐 服务 ? 
” 对 于 电 商 : 客户 正在 购物 ， 可 以 给 其 推荐 什么 商品 ? 
” 对 于 社交 媒体 : 用 户 当前 的 访问 模型 是 什么 ? 当前 热点 话题 
是 什么 ? 用 户 的 类 型 、 兴 趣 是 什么 ? 
” 对 于 城市 道路 交通 系统 : 当前 各 道路 流量 、 车 速 情况 有 什么 
异常 ， 需 要 采取 什么 措施 ? 


” 对 于 物流 企业 : 当前 货物 库存 、 周 转 、 运 输 状 态 是 什么 ”有 


10.3.2” 流 处 理 技术 的 关键 概念 


流 处 理 技术 利用 时 间 “ 窗 口 *" 概 念 来 让 “ 流 ” 中 的 数据 有 了 “边界 ”。 窗 
口中 的 数据 等 于 “数据 库 中 的 一 张 静 态 表 ” ( 见 图 10-13) 。 


图 10-13 ”窗口 概念 
“窗口 ”又 可 分 为 跳动 窗口 和 滑动 窗口 ， 用 于 不 同 场景 的 分 析 处 理 
( 见 图 10-14、 图 10-15) 。 


时 间 > 
跳动 窗口 Jump window) 
10-14 ”跳动 窗口 
蕊 志 ” 扔 4 {tS 
时 间 > 


图 10-15 ”滑动 窗口 


例如 : 在 电信 业务 中 ， 其 可 以 利用 窗口 的 概念 来 进行 数据 流 分 
析 。 电 信 信 令 监 控 的 某 业 务 是 否 是 恶意 呼叫 ， 需 寻找 在 连续 1 分 钟 内 友 
起 大 于 5 次 呼叫 的 手机 用 户 〈 见 图 10-16) ， 语 句 如 下 : 

SELECT * FROM CallEvent.win:time (60 sec) GROUP BY strImasi 
HAVING count (*) >5 

在 流 处 理 中 ， 这 个 查询 语句 是 持续 作用 的 ， 流 入 的 事件 满足 条 件 
即 被 触发 持续 查询 ， 这 一 特性 叫 “ 持 续 查 询 ”。 


连续 呼叫 次 数 : 4 


Tl1 时 刻 _ 中 Le | | 
连续 呼叫 次 数 : 5 
T2 时 刻 中 FE 1 | 
连续 呼叫 次 数 : 5 
T3 时 刻 qj FE rr ! | 
连续 呼叫 次 数 : 6 
T4 时 刻 由 [EE EE | ! | 


图 10-16 ”恶意 呼叫 查询 
通过 查询 处 理 ， 分 析 并 发 现 数据 反映 出 的 关系 和 问题 ， 叫 “模式 发 
现 ”， 可 以 采用 以 下 分 析 方 式 “ (模式 ) 发 现 ”( 见 图 10-17) : 
” 跟随 模式 ，A 事 件 发 生 后 总 会 发 生 B 事 件 ; 
非 事件 ， 不 发 生 某 个 事件 ; 
周期 性 发 生 ，A 事 件 总 是 在 某 一 时 间 段 内 发 生 。 


Y 


Y 


匹配 一 个 用 户 名 


分 隔 符 : 需要 正规 表达 式 


图 10-17 文本 搜索 中 的 正则 表达 式 
通过 以 上 的 文本 搜索 ， 获 得 以 下 分 析 结 果 ， 事 件 A 发 生 后 3 秒 内 B 
或 C 跟 随 发 生 ， 在 10 秒 时 间 内 D 不 会 发 生 ， 从 而 发 现 其 中 的 问题 ( 见 图 
10-18) 。 


time 


[10 SECONDS: [3 SECONDS: A, BIIC], ID] 


图 10-18 “异常 发 现 


10.3.3 ” 流 处 理 技 术 的 辨析 


目前 流 处 理 技术 主要 有 两 种 : CEP (Complex Event Processing) 用 
于 复杂 事件 处 理 ; Stream Processing 用 于 流 处 理 。 两 种 技术 的 对 比如 图 
10-19 所 示 。 


可 扩展 可 靠 
非 结构 化 高 性 能 
| 一 一 分 布 式 事件 流 处 理 
CEP 
多 事件 流 人 7 筷 序 事件 流 
联合 操作 / 


支持 时 间 窗 复杂 计算 
ds 逻辑 /模式 


图 10-19 ” 流 处 理 技术 对 比 
CEP 技 术 又 分 为 基于 查询 和 基于 规则 两 种 框架 。 基 于 查询 (Query- 
Based) 的 CEP 技 术 适 用 于 高 速 数据 流 分 析 ， 基 于 规则 的 CEP 技 术 则 是 
“条 件 一 规则 一 行动 ”的 模式 。 
基于 查询 (Query-Based) 的 CEP 技 术 框 架 如 图 10-20 所 示 。 
RE 
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图 10-20 ”基于 查询 的 CEP 技 术 框 架 
代码 样 例如 图 10-21 所 示 。 


select sum(price) from StockTickEvent(symbol-'GR win:length(5)4 


图 10-21 代码 样 例 

基于 查询 (Query-Based) 的 CEP 技 术 基 本 特征 : 

> 支持 基于 类 SQL 查询 语言 ; 

” Antlr 解 析 碍 询 语句 ; 

” 根据 解析 结果 生成 数据 结构 ; 

” 计算 事件 是 否 满足 触发 条 件 ; 

” 可 以 支持 较 高 数据 量 。 

基于 查询 (Query-Based) 的 CEP 技 术 适 用 场景 : 

” 数据 量 非 巨 量 ， 使 用 单 节点 可 以 满足 需求 ; 

” 较 复 杂 类 SQL 业务 ， 如 KPI 统计 、 定 时 输出 结果 、 多 流 Join 处 

理 等 。 

基于 规则 (Rule-based) 的 CEP 技 术 基 本 特征 是 : 实时 决策 支持 、 
数据 否 吐 量 不 大 、 基 于 “条 件 一 规则 一 行动 >” 常 用 于 BPM， 以 及 可 作 
为 规则 引擎 、 决 策 引 擎 。 其 技术 框架 如 图 10-22 所 示 。 


混合 事件 处 理 引擎 
规则 引擎 


JMS JMS 


图 10-22 ”基于 规则 的 CEP 技 术 框架 

CEP 技 术 发 展 有 十 几 年 的 历史 ， 近 年 借助 大 数据 有 升温 趋势 ， 特 
别 是 在 金融 证 券 、 网 络 安全 、 物 流 、 交 通 、 物 联网 领域 应 用 。CEP 技 
术 分 类 有 Query-Based、 Rule-Based、 State-Based 等 ， 主 流 是 Query- 
Based， 也 称 为 ESP (Event Stream Processing) 。CEP 在 尝试 标准 化 
流 、 窗 口 、 关 系 等 概念 已 写 入 SQL99 规 范 ，CQL (Continuous Query 
Language) 将 成 为 未 来 标准 。 但 CEP 未 发 展 成 SQL 一 样 严 说、 完备 的 理 
论 体 系 ， 各 家 实现 标准 不 一 ， 开 放 性 差 。 对 于 复杂 业务 ， 基 于 CEP 进 
行 开 发 很 困难 。 而 且 CPE 的 Scale-out 扩 展 能 力也 很 受 限 制 。 


10.3.4” 流 处 理 技术 的 最 新 发 展 


近 兴 起 的 流 处 理 技术 新 动向 ， 是 基于 Hadoop 的 MapReduce 框 架 
i ， 主 要 包括 : HOP (Hadoop Online Prototype) 、 
Hstreaming、 基 于 Spark 的 Spark Streaming 这 几 个 分 支 。 

Hop 是 Berkeley 大 学 、Yahoo 合 作 改 进 Hadoop 的 开源 项 目 ，Hop 改 
造 了 Map 和 Reduce 之 间 的 Shuffer、Pipeline 架 构 (Push 模 型 ) ， 采 用 管 
首 通信 ， 支 持 实时 类 业务 〈《 如 持续 计算 、 在 线 聚 合 ) ， 并 兼容 Hadoop 
API ( 见 图 10-23) 。 
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图 10-23 ”基于 Hadoop 流 处 理 模 型 
HStreaming 基 于 Hadoop 实 现 ， 采 用 HTTP/TCP 通 信 ， 数 据 不 落地 ， 
提供 类 似 Pig 的 脚本 语言 提供 流 处 理 能 力 ， 包 括 流 、 窗 口 、 聚 合 操作 
( 见 图 10-24、 图 10-25) 。 


Spark Streaming 是 基于 Spatrk 实 现 的 流 处 理 ， 实 现 秒 级 延迟 ， 支 持 
流 、 窗 口 、 各 种 聚合 操作 。 Spark 是 一 种 内 存 集群 计算 框架 (In- 
memory Cluster Computing | ， 用 于 应 用 系统 复 用 数据 。 
Spark 适 合 迭 代 计 算 (ML,DM) ， 是 一 款 “ 基 于 内 存 ” 的 Hadoop 技 术 
( 见 图 10-26、 图 10-27) 。 
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图 10-25 ”HStreaming 框 架 
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图 10-26 ”Spark Streaming 框 架 


Be 
, bel 


10-27 Spark 框架 


基于 Hadoop 实 现 的 各 种 流 处 理 技术 都 是 Pipeline 方 式 的 分 布 式 处 理 
框架 ， 在 Hadoop 经 典 的 MR 模型 下 ， 修 改 任务 调 度 、 数 据 存储 发 送 方 
式 ， 将 MR 的 大 批 次 改 小 ， 小 到 分 钟 级 、 秒 级 ， 这 些 技 术 部 分 兼容 
Hadoop API， 作 为 Hadoop 的 补充 ， 同 时 借助 Hadoop 生 态 系统 ， 取 得 了 
一 席 之 地 。 


10.3.5 “分 布 式 事件 的 流 处 理 技术 


在 分 布 式 事件 流 处 理 技术 和 领域， 主要 是 $S4 (Simple Scalable 
Streaming System) 和 Storm 两 种 流 处 理 技术 。S4 是 Yahoo 发 起 主导 的 
Apache 孵 化 项 目 ， 具 有 基于 通用 硬件 、 分 布 式 、 容 氏 、 可 和 通 入 软件 平 
台 的 特点 ， 开 发 者 可 以 很 容易 地 开发 应 用 来 处 理 分 析 连 续 的 流 数 据 内 
容 ( 见 图 10-28、 图 10-29) 。 

S4 框 架 模 型 的 特性 包括 事件 驱动 (Event-Driven) 、Actor 模 型 、 
DAG 图 的 事件 拓扑 、 用 户 目 定义 拓扑 和 处 理 逻 辑 、 全 分 布 式 架构 、 对 
等 结构 ， 每 个 PN 上 有 完整 PE 拓扑 、 支 持 采 用 Yam 部 署 、 支 持 Fail- 
over、 Checkpoint 等 。 

Storm 是 由 Twitter 主导 开发 的 分 布 式 实时 计算 系统 ， 目 前 拥护 者 众 
多 ， 版 本 演进 迅速 ( 见 图 10-30) 。 


一 个 无 密 钥 事件 (EV) 抵 达 PE1， 事 件 有 如 下 引用 (Quote): 
“Imeant what Isaid and I said what I meant.” Dr.Seuss 
3 QuoteSplitterPE(PE1) 为 引用 (Quote) 
中 的 每 个 独立 单词 计数 ， 并 为 每 个 


单词 发 布 事 件 
ee EV 
轨 
“VAL 


WordCountPE(PE2-4) 为 所 
有 引用 的 每 个 独立 单词 保 
持 计 数 ， 并 在 计数 更 新 时 ， 
发 布 一 个 事件 


SortPE(PE5-7) 持 续 为 部 分 
列表 分 类 ， 并 按 周期 性 间 
隔 发 布 清 单 


MergePE(PE8) 组 合 部 分 TopK 
列表 ， 并 输出 最 终 TopK 列 表 


图 10-28 ”S4 流 处 理 流程 
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图 10-29”S4 流 处 理 框架 


Stream 


以 Tuple 为 基本 单位 组 成 的 。、 国 到 EE 可 下 汪 到 
= 


一 条 有 向 无 界 的 数据 流 


Topology 


由 计算 节点 和 流动 的 
Tuple 组 成 的 拓扑 结构 


图 10-30 ”Storm 流 处 理 框架 
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图 10-30 ”Storm 流 处 理 框 架 ( 续 ) 

Storm 具 有 分 布 式 处 理 框 染 ， 有 中 心 管理 节点 ， 采 用 多 种 形式 的 事 
件 路 由 分 发 机 制 ， 由 事件 驱动 (Event-Driven) ， 具 有 DAG 图 形式 
Topology， 并 支持 事件 处 理 的 可 靠 性 。 

分 布 式 事件 流 处 理 技术 是 真正 的 事件 驱动 (Event-driven) 实时 系 
统 ， 分 布 式 流 处 理 引 擎 相当 于 Hadoop 的 MapReduce， 可 基于 它 实 现 上 
层 的 查询 引擎 、 规 则 引擎 、 流 挖掘 等 衍生 的 生态 系统 ， 有 着 巨大 的 想 
象 空 间 。 此 外 ， 各 类 相似 类 型 的 项 目 不 断 涌现 ， 如 Facebook Puma、 
Twitter Rainbird 、LinkedIn Kafka、 百 度 的 Dstream ， 阿 里 巴巴 的 
Galaxy、iProcess、 SuperMario 等 。 


大 数据 在 信息 时 代 占 据 很 高 的 地 位 ， 分 析 大 数据 对 于 众多 行业 都 
具有 很 重要 的 战略 意义 。 大 数据 技术 的 主要 任务 是 从 内 部 和 外 部 数据 
源 中 快速 地 发 现 商 业 机 会 并 挖掘 其 价值 ， 还 对 这 些 数 据 进行 高 效 快捷 


的 评估 ， 最 终 提供 决策 支撑 。 大 数据 有 利于 从 各 类 数据 中 快速 获得 信 
息 ， 物 联网 的 快速 发 展 也 为 大 数据 提供 了 广泛 的 数据 来 源 。 智 能 手机 
的 普及 使 数据 量 呈 指数 级 增长 。 廉 价 的 存储 和 高 速 的 带宽 也 为 大 数据 
的 诞生 提供 了 必 备 条 件 。 云 计算 为 大 数据 的 诞生 提供 了 物质 基础 。 目 
前 ， 数 据 量 的 增长 在 大 数据 应 用 中 处 于 主导 性 的 地 位 ， 从 TB 级 升 至 PB 
级 ， 并 且 仍 在 持续 爆炸 式 增长 ， 其 增长 速度 远 起 摩尔 定律 增长 速度 。 
大 数据 的 分 析 需 求 由 抽样 分 析 转 向 全 量 分 析 ， 成 为 企业 发 展 必 不 可 少 
的 支撑 点 。 由 于 数据 量 不 断 迅 速 增加 ， 数 据 规模 也 随 之 增 大 ， 导 致 成 
本 上 升 。 从 成 本 角度 考虑 ， 大 数据 的 硬件 平台 由 专用 硬件 服务 器 转向 
标准 开放 硬件 构成 的 大 规模 机 群 平台 。 大 数据 遍布 在 许多 领域 ， 物 联 
网 、 云 计算 、 移 动 互 联网 、 车 联网 、 手 机 以 及 各 式 传感器 ， 无 一 不 是 
数据 来 源 或 者 承载 的 方式 。 全 球 对 大 数据 技术 和 服务 的 投资 在 不 断 增 
长 ， 依 靠 大 数据 可 以 提供 足够 有 利 的 资源 。 

大 数据 之 于 金融 ， 其 根本 驱动 是 降低 资本 融通 的 成 本 、 提 高 资金 
服务 的 效率 〈 见 图 10-31) 。 
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图 10-31 大 数据 在 金融 行业 


10.4.1 ”银行 业 现 状 和 大 数据 的 潜在 机 会 


由 于 金融 服务 的 业务 转型 的 影响 ， 银 行业 服务 及 管理 模式 都 将 发 
生根 本 性 的 改变 。 统 计 显 示 ， 以 ATM、 网 上 银行 、 手 机 银行 为 代表 的 
电子 银行 在 我 国 当 前 已 经 逐渐 成 为 重要 交易 渠道 ， 对 传统 银行 渠道 的 
替代 率 超过 了 60%。 特 别 是 互联 网 金融 可 能 会 对 银行 的 观念 和 经 营 模 
陈 加 以 颠覆 ， 银 行业 应 如 何 主动 变 嘻 、 变 挑战 为 机 遇 是 一 个 值得 探讨 
和 深刻 思考 的 问题 。 银 行 是 经 营 信 用 的 企业 ， 数 据 的 力量 尤为 关键 和 
重要 。 在 “大 数据 ”时代 ， 以 互联 网 为 代表 的 现代 信息 科技 ， 特 别 是 门 
尸 网 站 、 社 区 论坛 、 微 博 、 微 信 等 新 型 传播 方式 的 莲 支 发 展 ， 移 动 支 
付 、 搜 索引 擎 和 云 计 算 的 广泛 应 用 ， 构 建 起 了 全 新 的 数字 化 客户 信息 
体系 ， 并 将 改变 现代 金融 运营 模式 。 效 据 海量 化 、 多 样 化 、 传 输 快 速 
化 和 价值 化 等 特征 ， 将 给 商业 银行 市 场 竞 争 融 来 全 新 的 挑战 和 机 会 。 

中 国 银行 业 现 阶段 的 大 数据 应 用 需求 大 致 可 以 分 为 以 下 四 类 。 

” 客户 分 析 : 基于 各 种 数据 产 的 客户 效 据 和 客户 行为 数据 分 

析 ， 用 于 客户 分 类 、 客 尸 差 异化 服务 、 客 户 推荐 系统 、 客 户 
流失 预测 等 。 

” 风险 分 析 : 基于 银行 交易 和 客户 交互 数据 进行 建 模 ， 借 助 大 

效 据 平台 快速 分 析 和 预测 在 此 发 生 或 者 新 的 市 场 风险 、 操 作 
风险 等 。 

” 运营 分 析 : 基于 企业 内 外 部 运营 、 管 理 和 交互 数据 分 析 ， 借 

助 大 数据 平台 ， 三 自 六 十 度 统计 和 预测 企业 经 营 和 管理 绩 
效 。 

” 行业 监管 : 基于 企业 内 外 部 交易 和 历史 数据 ， 实 时 或 准 实时 

预测 和 分 析 欺 诈 、 沪 线 等 非法 行为 ， 遵 从 法 规 和 监管 要 求 。 


10.4.2 ”大 数据 时 代 的 银行 业 发 展 


大 数据 的 高 速 发 展 ， 使 银行 业 的 客户 数据 、 交 易 数 据 、 管 理 数 据 
等 均 呈 现 爆 炸 式 增长 ， 海 量 数据 席卷 而 来 ， 机 遇 和 挑战 也 随 之 而 来 ， 
为 银行 创造 变革 性 价值 创造 了 条 件 ， 银 行业 服务 及 管理 模式 都 将 发 生 
根本 性 改变 。 大 数据 在 银行 业 的 应 用 范围 包括 客户 定价 、 产 品 营 销 、 
风险 管理 等 ( 见 图 10-32) 。 
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图 10-32 “中国 银行 业 的 大 数据 应 用 场景 
机 遇 


大 数据 时 代 的 银行 业 发 展 面临 以 下 机 遇 。 

(1) 业务 发 展 空间 

我 国 商业 银行 所 提供 的 业务 服务 和 产品 都 具有 很 强 的 同 质 性 ， 但 
是 竞争 关系 要 求 银行 实施 差异 化 战略 。 互 联网 的 兴起 使 得 社交 媒体 成 
为 银行 新 的 接触 客 己 渠道， 银行 可 以 从 各 个 网 点 、PC、 移 动 终端 、 传 
感 器 网 络 等 端口 收 到 结构 化 、 非 结构 化 的 海量 数据 ， 可 深入 挖掘 客 
户 ， 强 化 交叉 销售 ， 同 时 加 快 产品 的 创新 空间 。 


(2) 决策 判断 能 

在 信息 时 代 ， 人 类 社会 面临 的 中 心 问题 将 从 如 何 提高 生产 率 转变 
为 如 何 更 好 地 利用 信息 来 辅助 决策 。 对 于 银行 而 言 , “大 数据 ”将 使 银 
行 决策 从 “经 验 依 赖 * 向 “数据 依据 ”转化 ， 将 在 深入 了 解 和 把 握 银 行 目 
身 乃 至 市 场 状 况 的 基础 上 ， 更 加 科学 地 评价 经 营业 绩 、 评 估 业 务 风 
cai en ea 

(3) 经 营 管理 

a 理 革 命 和 竞争 。 关 于 资产 、 负 
债 、 客 户 、 交 易 对 手 及 业务 过 程 中 产生 的 各 种 数据 资产 ， 在 风险 控 
制 、 成 本 核算 、 资 本 管理 、 绩 效 考核 等 方面 发 挥 着 重要 作用 ， 充 分 利 
用 数据 分 析 技 术 将 是 银行 制胜 的 关键 。“ 数 据 一 信息 一 商业 智能 ”将 逐 
步 成 为 银行 定量 化 、 精 细 化 管理 的 发 展 路 线 ， 为 有 效 提升 服务 能 力 提 
供 强 大 支撑 。 


挑战 


大 数据 时 代 的 银行 发 展 面临 以 下 挑战 。 

(1) 数据 加 又 全 

“大 数据 ?时 代 首 先 对 银行 的 数据 驾驭 能 力 提 出 了 全 新 的 挑战 。 在 
RS 信贷 等 传统 渠道 的 结构 化 
数据 ， 还 要 收集 来 自 物 联 网 、 互 联网 、 机 构 系 统 的 各 类 非 结构 化 数 
据 ， 甚 至 还 要 与 历史 数据 对 照 ， 非 结构 化 数据 收集 模式 将 彻底 颠覆 银 
行 数 据 收集 理念 。 在 数据 存储 方面 ， 要 达到 低 成 本 、 低 能 耗 、 高 可 靠 
性 目标 ， 通 常 要 用 到 宛 余 配 置 、 分 布 化 和 云 计算 技术 ， 这 正 是 银行 所 
欠缺 的 。 在 数据 处 理 方面 ， 有 的 数据 涉及 上 百 个 参数 ， 难 以 用 传统 的 


方法 描述 与 度量 ， 处 理 的 复杂 度 相 当 大 ， 如 客服 录音 数据 等 。 利 用 “大 
数据 ”的 能 力 将 成 为 决定 银行 竞争 力 的 关键 因素 。 

(2) 生存 发 展 能 

银行 的 生存 发 展 能 力 受 到 挑战 。 大 量 的 数据 来 源 和 强大 的 数据 分 
析 工 具 正 催生 出 很 多 新 的 金融 业态 来 直接 瓜分 银行 的 信贷 市 场 。 与 传 
统 银行 相 比 ， 互 联网 金融 在 信息 收集 、 信 息 处 理 、 产 品 交 付 以 及 风险 
防范 等 方面 都 有 优势 ， 其 提供 的 金融 服务 已 经 从 简单 支付 渗透 到 了 转 
账 汇款 、 小 额 信贷 、 现 金管 理 、 资 产 管理 、 供 应 链 金 融 、 基 金 和 保险 
代销 等 银行 核心 业务 领域 。 

(3) 商业 运营 模式 

随 着 数据 化 和 网 络 化 的 全 面 深入 发 展 ， 金 融 服务 虚拟 化 将 成 为 大 
势 所 趋 。 一 是 产品 虚拟 化 ， 金 融 IC 卡 的 推广 应 用 正在 逐步 提升 银行 的 
电子 化 发 展 进度 ， 银 行 资金 将 越 来 越 多 地 呈现 为 各 类 数据 信号 的 交 
换 ， 电 子 货 币 将 与 实物 货币 并 驾 齐 驱 。 二 是 服务 虚拟 化 ,“ 善 融 商 
务 人 “ 交 博 汇 ” 以 及 网 络 金融 商城 等 银行 电子 商务 平台 不 断 发 展 ， 思 标 
银行 、 电 子 银行 成 为 未 来 趋势 。 三 是 管理 虚拟 化 ， 银 行业 务 中 的 各 种 
单据 、 和 凭证 等 将 以 数字 文件 的 形式 出 现 ， 网 络 成 为 重要 的 管理 通道 ， 
电子 化 、 数 据 化 的 管理 模式 更 加 方便 快捷 。 传 统 的 商业 银行 运营 模式 
将 逐渐 消融 在 数据 化 的 洪流 里 ， 借 助 “ 大 数据 ”手段 ， 实 现 跨 越发 展 ， 
成 为 未 来 商业 银行 可 持续 发 展 的 唯一 选择 。 


10.4.3 “大 数据 在 银行 业 的 发 展 趋势 


目前 ， 大 数据 相关 的 拷 术 和 工具 非常 多 ， 给 企业 提供 了 更 多 的 选 
择 。 在 未 来 ， 其 还 会 继续 出 现 新 的 技术 和 工具 ， 如 Hadoop、 下 一 代数 
据 仓 库 等 ， 这 也 是 大 数据 领域 的 创新 热点 。 企 业 越 来 越 希 望 能 将 自己 


的 各 类 应 用 程序 及 基础 设施 转移 到 云 平 台 上 。 就 像 其 他 IT 系统 那样 ， 
大 数据 的 分 析 工 具 和 数据 库 也 将 走向 云 计算 。 首 先 云 计 算 为 大 数据 提 
供 了 可 以 弹性 扩展 、 相 对 便宜 的 存储 空间 和 计算 资产 ， 使 得 中 小 企业 
可 以 像 跨 国 大 企业 一 样 通过 云 计算 来 完成 大 数据 分 析 。 其 次 ， 云 计算 
IT 资源 庞大 、 分 布 较为 广泛 ， 是 异 构 系 统 较 多 的 企业 及 时 准确 处 理 数 
据 的 有 力 方式 ， 甚 至 是 唯一 的 方式 。 随 着 数据 分 析 集 的 扩大 ， 以 前 部 
门 层级 的 数据 集 市 将 不 能 满足 大 数据 分 析 的 需求 ， 它 们 将 成 为 企业 级 
数据 库 的 一 个 子 集 。 

对 于 银行 业 来 说 ,，“ 大 数据 ”革命 必 将 颠覆 银行 传统 观念 和 经 营 模 
式 。 要 强化 “数据 冶 行 ”理念 ， 建 立 分 析 数 据 的 习惯 ,重视 “大 数据 ” 开 
发 利用 ， 提 升 全 行 的 质量 管理 、 数 据 管理 。 同 时 ， 其 要 营造 “数据 冶 
行 " 文 化 ， 倡 导 用 数据 说 话 ， 准 确 描述 事实 ， 反 映 逻 辑 理性 ， 将 现 有 
数据 转化 为 信息 资源 ， 为 高 层 管理 和 决策 提供 强 有 力 的 依据 ， 让 决策 
更 加 针对 目标 ， 让 发 展 更 加 贴近 真实 市 场 。 其 着 眼 于 “大 数据 ” 挖 据 和 
分 析 ， 对 海量 数据 的 持续 实时 处 理 ， 建 设 数据 仓库 项 目 ， 为 服务 质量 
改善 、 经 营 效 率 提 升 、 服 务 模 式 创新 提供 支撑 ， 全 面 提 升 运营 管理 水 
平 。 在 项 目 建设 中 ， 其 通过 梳理 、 整 合 经 营 管理 关键 数据 ， 建 立 数据 
管控 体系 ， 搭 建 基础 数据 平台 。 通 过 数据 仓库 建设 ， 运 用 数据 挖掘 和 
分 析 ， 全 方位 调整 管理 模式 、 产 品 结构 、 营 销 模式 、 信 息 战 略 ， 从 根 
本 上 提高 风险 管理 、 成 本 绩效 管理 、 资 产 负债 管理 和 客户 关系 管理 水 
平 ， 实 现 多 系统 数据 的 业务 逻辑 整合 ， 形 成 全 行 级 客户 、 产 品 、 协 议 
等 主题 数据 。 其 积极 推动 传统 业务 案 道 与 移动 通信 、 云 计算 等 新 兴业 
态 纵向 整合 、 横 向 渗透 ， 促 进 信息 集中 、 整 合 、 共 享 、 挖 掘 。 一 方 
面 ， 要 “走出 去 ”， 与 移动 网 络 、 电 子 商 务 、 社 交 网络 等 “大 数据 平台 ” 
完美 融合 ， 开 展 “ 大 数据 ”分 析 ， 为 客户 提供 开放 服务 平台 。 另 一 方 


面 ， 要 “请 进来 "， 与 数据 分 析 专 业 广 商 合作 ， 对 效 据 存 量 进 行 综合 处 
理 与 分 析 。 建 立 完善 内 容 泣 盖 全 面 、 功 能 丰富 齐全 ， 集 网 上 贸易 服 
务 、 网 上 保 理 、 电 子 商业 汇票 、 票 据闻 、 应 收 账 款 闻 融 资 、 在 线 融 资 
等 为 一 体 的 综合 供应 链 金融 服务 体系 ， 为 客户 提供 触手 可 及 的 全 方位 
贴身 服务 。 


10.4.4 ”大 数据 在 金融 行业 的 实践 
问题 和 需求 


随 痢 互联 网 金融 的 快速 兴起 ， 银 行业 务 竞 争 激 烈 ，A 金 融 机 构 急 
需 以 金融 大 数据 查询 、 分 析 、 挖 掘 为 基础 ， 进 行 产品 创新 、 预 测 和 风 
险 评估 ， 改 善 服 务 质 量 ， 提 升 竞 争 力 。 但 A 金 融 机 构 的 IT 数据 处 理 平 台 
架构 还 是 以 传统 数据 库 与 数据 仓库 为 主 的 模式 〈 见 图 10-33) 。 


在 线 实时 查询 离线 人 工 查询 

决策 分 析 
统计 报表 

传统 数据 库 = | 

| ; 

5 分 析 模型 p 席 查询 a 
多 维 分 析 

NAS 存 储 传统 数据 仓库 /数据 集 市 hee 


图 10-33 ”以 传统 数据 库 与 数据 仓库 为 主 的 银行 数据 处 理 平台 

传统 面向 结构 化 数据 的 数据 平台 已 经 无 法 满足 大 数据 数量 、 种 类 
的 快速 增长 ， 无 法 支撑 A 金融 机 构 未 来 对 数据 处 理 的 要 求 。 具 体 表现 
在 以 下 几 个 方面 。 


” 系统 无 法 支撑 在 线 查 询 5 年 历史 明细 : 业务 需要 在 线 查 询 5 年 
15TB 的 交易 历史 明细 ， 但 现状 是 容量 受 限 ， 数 据 库 仅 能 在 线 
查询 1 年 3TB 的 交易 历史 明细 ，1 年 以 上 历史 明细 需要 数据 仓 
库 离 线 人 工 查询 ， 客 户 等 待 时 间 长 。 
” 系统 无 法 支撑 全 量 多 维 客户 行为 分 析 : 业务 需要 全 量 多 维度 
分 析 ， 改 进 分 析 机 制 ， 提 高 分 析 结 果 转 化 率 ， 但 现状 是 受 限 
于 处 理 能 力 制 约 ，ETL 抽 取 到 传统 数据 库 的 数据 维度 较 少 ， 
且 现 有 SAS 分 析 工 具 采 用 专家 经 验 机 制 ， 导 致 分 析 结果 转化 
率 低 。 
” 系统 无 法 支撑 实时 征 信 : 征 信 数据 分 散在 业务 数据 库 、 数 据 
仓库 ， 信 用 卡 开 户 、 透 支 服 务 征 信 数 据 需要 分 时 分 散 查 询 ， 
且 流 程 人 工 干 预 多 ， 导 致 业务 办 理 需 要 3 周 左 右 ， 无 法 实现 实 
时 征 信 数据 查询 客户 满意 度 低 。 
” 数据 库 问 题 : 原 有 数据 系统 仅 适 合 实时 交易 类 业务 ， 不 适合 
分 析 类 业务 ， 人 存储 结构 化 数据 ， 容 量 有 限 ， 无 法 存储 过 多 的 
历史 数据 。 
” 数据 仓库 问题 : 原 有 数据 仓库 系统 仅 适 合 结构 化 数据 分 析 类 
业务 ， 非 结构 化 数据 需 前 端 ETL 工 具 抽 取 ， 转 换 成 结构 化 数 
据 存 储 ， 但 数据 维度 减少 ， 无 法 线性 扩展 ， 数 据 量 大 处 理 缓 
慢 ， 银 行 一 般 多 业务 分 时 复 用 使 用 ， 无 法 多 业务 并 发 使 用 。 
基于 以 上 诸多 挑战 和 问题 ，A 金 融 机 构 寻 求 采用 大 数据 技术 来 完 
善 金融 数据 处 理解 决 方案 ， 来 应 对 日 益 突出 的 业务 问题 。 在 大 数据 解 
决 方案 选择 上 ，A 金 融 机 构 对 大 数据 平台 有 三 个 核心 的 要 求 。 

” 安全 性 : 满足 金融 等 要 求 ，; 

” 可 靠 性 : 所 有 组 件 支持 HA， 支 持 容 灾 ， 


” 易 用 性 : 与 应 用 无 颖 衔接， 适合 现 有 编程 习惯 。 


架构 方案 及 优点 


A 金融 机 构 对 多 家 知名 IT 厂 商 的 大 数据 解决 方案 进行 了 详细 的 考察 
和 测试 验证 ， 搭 建 了 一 个 全 新 的 金融 大 数据 处 理 平 台 ， 其 架构 如 图 10- 


34 所 示 。 
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rr 第 一 数据 平面 一 一 一 
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图 10-34 ”A 金融 机 构 全 新 的 金融 数据 染 构 
在 这 个 架构 中 ，A 金 融 机 构 将 数据 分 为 第 一 数据 平面 和 第 二 数据 
平面 。 第 一 数据 平面 主要 基于 原 有 的 金融 IT 平台 ， 以 交易 为 核心 ， 文 
撑 传 统 的 金融 数据 处 理 与 分 析 业 务 。 第 二 数据 平面 则 是 以 大 数据 平台 
为 核心 的 新 建 数据 平面 ， 主 要 处 理 金融 数据 分 析 业 务 ， 实 现 诸如 社交 
情绪 指数 、 或 有 金融 资产 、 金 融 脉 络 关系 、 在 线 征 信 、 精 准 推荐 、 在 
线 历史 明细 等 业务 。 第 一 平面 与 第 二 平面 的 数据 实时 共享 与 交互 ， 实 
现 相 互 间 业务 支撑 。 
该 架构 除了 实现 基于 Hadoop 的 基础 大 数据 分 析 能 力 外 ， 还 实现 了 
A 人 金融 机 构 所 需 的 安全 、 可 靠 、 易 用 三 大 特性 。 
” 高 安全 性 : 业界 第 一 家 支持 金融 等 级 保护 、 第 一 家 支持 RBAC 
用 户 组 权限 管理 和 消除 HDFS 明 文 存放 隐患 的 大 数据 平台 。 


~ 高 可 靠 性 : 大 数据 平台 全 组 件 支 持 HA， 业 界 第 一 
1000+KM 异 地 容 灾 验 证 的 厂家 。 

” 易 用 性 : 丰富 的 行业 全 量 建 模 和 二 次 开发 能 力 ， 让 大 数据 与 
客户 应 用 无 缝 衔接 ， 全 目 动 化 在 线 运 维 、 目 动 化 的 应 用 开发 
助手 ， 轻 松 管理 大 数据 系统 。 

在 线 历史 明细 查询 解决 方案 中 ， 由 IT 供应 商 提 供 完 整 的 大 数据 分 
布 式 业务 平台 和 Hadoop 大 数据 平台 解决 方案 ，A 人 金融 机 构 的 技术 团队 
只 需 专 注 历史 明细 查询 业务 的 编写 。 分 布 式 业务 平台 支持 多 业务 系统 
并 发 访问 ， 实 现实 时 历史 明细 查询 能 力 。 方 案 同时 支持 Socket、Web 业 
务 请 求 接 入 和 分 发 ， 与 A 金融 机 构 业 务 系统 无 颖 衔接。 创新 的 CTBase 
方案 、 独 有 的 表 聚 族 和 多 级 索引 支持 HBase 多 表 关 联 查 询 的 能 力 。 
HBase 同 时 支持 SQL、Java API 编 程 接口 ， 适 应 客户 的 编程 习惯 。 

在 全 量 多 维 客户 行为 分 析 解 决 方案 中 ， 由 IT 供 应 商 提 供 完 整 的 数 
据 挖 掘 工具 大 数据 洞察 平台 和 Hadoop 大 数据 平台 解决 方案 ，A 人 金融 机 
构 技术 团队 只 需 专注 客户 行为 分 析 业 务 的 编写 。IT 供 应 商 同 时 提供 了 
金融 通用 的 客户 行为 分 析 业 务 ， 即 用 户 特 征 刻 画 、 小 微 贷 倾向 分 析 。 
大 数据 洞察 平台 基于 大 数据 全 量 建 模 分 析 ， 可 以 挖掘 出 14 000 位 客户 
特征 ， 实 现 多 维 并 发 分 析 。 方 案 采 用 Hadoop 机 器 自动 学 习 机 制 ， 大 大 
提高 分 析 准 确 度 。 客 户 行 为 分 析 结 果 存 储 在 HBase， 供 业务 查询 使 用 。 

在 实时 征 信和 解决 方案 中 ，IT 供 应 丙 提 供 完整 的 大 数据 分 布 式 业务 
平台 (DAP) 和 Hadoop 大 数据 平台 解决 方案 ，A 金 融 机 构 技 术 团队 只 
需 专 注 实 时 征 信 业 务 组 件 的 编写 。 分 布 式 业 务 平台 提供 征 信 流 程 业务 
系统 并 发 处 理 能 力 。 分 布 式 业务 平台 提供 实时 工作 流 引 擎 ， 可 以 根据 
预先 设置 的 顺序 自动 化 执行 征 信 的 每 一 个 业务 流程 。HBase 中 存储 所 有 
与 实时 征 信 相关 的 表 ， 包 括 资料 信息 表 、 内 部 资信 和 表 、 客 户 公 共 profile 


表 、 风 险 信息 表 、 征 信 主 表 ， 提 供 征 信和 数据 实时 查询 能 力 。HBase 支 持 
SQL 调用 接口 ， 与 实时 征 信 已 有 的 业务 组 件 无 缝 衔接 。 


系统 收益 


A 金融 机 构建 设 的 第 二 数据 平面 大 数据 平台 为 A 金融 机 构 带 来 非常 
显著 的 价值 收益 ， 有 具体 表现 在 以 下 几 个 方面 ( 见 图 10-35) 。 

” 历史 明细 查询 : 实现 统一 集中 存储 5 年 15TB 交 易 历 史明 细 数 
据 ， 便 于 管理 和 扩展 ， 多 业务 系统 并 发 实时 查询 5 年 交易 历史 
明细 数据 ， 提 升 金 融 最 终 用 户 的 使 用 体验 。 

> 实时 征 信 : 实现 了 2~5 秒 自动 化 征 信 ， 提 升 金融 信贷 客户 的 
满意 度 ; 实时 工作 流 引 擎 简化 客户 部 署 实时 自动 化 征 信 业务 
的 难度 。 

” 客户 行为 分 析 : 小 微 贷 倾向 分 析 实 现 TOP10 000 客 户 推 荐 成 功 
转化 率 ， 相 比 传统 数据 仓库 ， 四 维度 分 析 模 式 转化 率 将 提高 6 
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图 10-35 ”小 微 贷 大 数据 与 传统 数据 仓库 分 析 效 果 对 比 


10.5 必用 畅想 
10.5.1 ”身边 的 大 数据 


似乎 一 夜 之 间 ， 大 数据 (Big Data) 变 成 一 个 开行 业 中 最 时 比 的 词 
汇 。 

首先 ， 大 数据 不 是 什么 完 完全 全 的 新 生 事 物 ，Google 的 搜索 服务 
就 是 一 个 典型 的 大 数据 运用 ， 根 据 客 户 的 需求 ，Google 实 时 从 全 球 海 
量 的 数字 资产 (或 数字 垃圾 ) 中 快速 找 出 最 可 能 的 答案 ， 并 呈现 给 
你 ， 这 就 是 一 个 最 典型 的 大 数据 服务 。 只 不 过 过 去 这 样 规模 的 数据 量 
处 理 和 有 商业 价值 的 应 用 太 少 ， 在 IT 行业 没有 形成 成 型 的 概念 。 现 在 
随 着 全 球 数字 化 、 网 络 宽带 化 、 互 联网 应 用 于 各 行 各 业 ， 累 积 的 数据 
量 越 来 越 大 ， 越 来 越 多 企业 、 行 业 和 国家 发 现 ， 可 以 利用 类 似 的 技术 
更 好 地 服务 客户 、 发 现 新 商业 机 会 、 扩 大 新 市 场 以 及 提升 效率 ， 从 而 
逐步 形成 大 数据 这 个 概念 。 

从 运营 商行 业 的 一 个 真实 故事 讲 起 : 某 运 营 商 客户 有 一 个 困扰 ， 
即 一 些 手机 厂商 和 客户 内 部 的 某 些 人 内 外 勾结 ， 采 用 俗称 “ 洗 码 ”的 方 
式 来 非法 获 利 ， 具 体 来 说 ， 就 是 这 些 手机 厂商 的 部 分 手机 进入 运营 商 
渠道 销售 、 加 上 资费 包 出 库 后 ， 并 疫 有 进入 最 终 消 费 者 手中 ， 而 是 进 
入 相关 利益 者 手中 ， 相 关 利 益 者 把 手机 资费 拆 包 卖 挥 后 ， 手 机 又 通过 
渠道 重新 进入 运营 商 的 销售 环节 。 对 于 运营 商 来 说 ， 这 样 没 有 发 展 新 
用 户 ， 只 是 循环 徒 增 成 本 。 单 纯 从 运营 两 的 流程 和 业务 系统 是 找 不 出 
问题 在 哪里 的 。 后 来 ， 客 户 技术 团队 利用 技术 手段 从 网 络 、 运 营 系统 
等 抓 取 了 很 多 的 数据 ， 对 各 品牌 、 各 款式 、 各 批 次 手机 建 模 分 析 ， 发 
现 一 系列 线索 ， 找 到 了 问题 点 和 相关 责任 人 ， 运 营 商 通过 处 罚 及 威慑 


基本 杜绝 了 这 种 情况 的 发 生 。 这 件 事 当时 做 的 时 候 ， 大 数据 概念 还 没 
变 得 很 热 ， 但 毫 无 疑问 ， 这 样 的 做 法 就 是 大 数据 方法 的 有 效 实践 。 

另外 一 个 有 趣 的 故事 是 关于 奢侈 品 营销 的 。PRADA 人 在 纽约 的 旗舰 
店 中 每 件 衣 服 上 都 有 RFID 码 。 每 当 一 个 顾客 拿 起 一 件 PRADA 进 试 衣 
间 ，REFID 会 被 自动 识别 。 同 时 ， 数 据 会 传 至 PRADA 总 部 。 每 一 件 衣服 
在 哪个 城市 哪个 旗舰 店 什么 时 间 被 拿 进 试 衣 间 停留 多 长 时 间 ， 数 据 都 
被 存储 起 来 加 以 分 析 。 如 果 有 一 件 衣服 销量 很 低 ， 以 往 的 做 法 是 直接 
下 架 。 但 如 果 RFID 传 回 的 数据 显示 这 件 衣服 虽然 销量 低 ， 但 进 试 衣 间 
的 次 数 多 ， 那 就 能 另外 说 明 一 些 问题 。 也 许 这 件 衣服 的 下 场 就 会 截然 
不 同 ， 也 许 在 某 个 细节 的 微小 改变 就 会 重新 创造 出 一 件 非常 流行 的 产 
口 口 o 

还 有 一 个 是 关于 中 国 粮食 统计 的 故事 。 中 国 的 粮食 统计 是 一 个 老 
大 难 的 问题 。 中 国 的 统计 ， 昌 然 有 组 织 、 有 流程 、 有 法 律 ， 但 中 央 的 
统计 人 员 依 靠 省 统计 人 员 ， 省 靠 市 ， 市 靠 县 ， 县 靠 镇 ， 镇 靠 村 ， 最 后 
真正 干 活 或 上 报 的 是 基层 兼职 的 调查 人 员 。 在 前 两 年 北京 的 一 个 会 议 
上 ， 原 国家 统计 局 总 经 济 师 姚景源 讲述 了 他 们 是 如 何 提升 数据 的 精准 
性 的 。 他 们 采用 遥感 卫星 ， 通 过 图 像 识别 ， 把 中 国 所 有 的 耕地 标识 计 
算出 来 ， 然 后 把 中 国 的 耕地 网 格 化 ， 对 每 个 网 格 的 耕地 抽样 进行 跟 
踪 、 调 查 和 统计 ， 然 后 按照 统计 学 的 原理 ， 计 算 (或 者 说 估算 ) 出 中 
国 整体 的 粮食 数据 。 这 种 做 法 是 典型 采用 大 数据 建 模 的 方法 ， 打 破 传 
统 流 程 和 组 织 ， 直 接 获 得 最 终 的 结果 ， 或 者 获得 不 同 渠道 来 源 的 数 
据 ， 对 同一 个 事实 从 不 同 侧面 加 以 验证 。 

最 后 是 一 个 炒股 的 故事 。 这 个 故事 来 自 2011 年 好 莱 坞 的 一 部 高 智 
商 电 影 《 永 无 止境 》， 讲 述 一 位 落魄 的 作家 库 珀 ， 服 用 了 一 种 可 以 迅 
速 提 升 智力 的 神奇 蓝 色 药物 ， 然 后 他 将 这 种 高 智商 用 于 炒股 。 库 珀 是 


怎样 炒股 的 呢 ? 他 能 在 短 时 间 掌 握 无 数 公 司 的 资料 和 背景 ， 也 就 是 将 
世界 上 已 经 存在 的 海量 数据 (包括 公司 财报 、 电 视 、 几 十 年 前 的 报 
纸 、 互 联网 、 小 道 消息 等 ) 挖掘 出 来 ， 串 联 起 来 ， 通 过 海量 信息 的 挖 
据 、 分 析 ， 使 一 切 内 幕 都 不 是 内 幕 ， 使 一 切 趋 势 都 在 眼前 ， 结 果 在 10 
天 内 他 就 赢得 了 200 万 美元 ， 神 奇 的 表现 让 身边 的 职业 投资 者 目 瞪 口 
采 。 这 部 电影 展现 了 大 数据 魔力 ， 我 们 推荐 没有 看 过 的 IT 人 士 看 一 
看 。 

从 这 些 案例 来 看 ， 大 数据 并 不 是 很 神奇 的 事情 。 就 如 同 电影 《 永 
无 止境 》 提 出 的 问题 : 人 类 通常 只 使 用 了 20% 的 大 脑 ， 如 果 剩 余 80% 的 
大 脑 潜能 被 激发 出 来 ， 世 界 会 变 得 怎样 ? 在 企业 、 行 业 和 国家 的 管理 
中 ， 通 常 只 有 效 使 用 了 不 到 20% 的 数据 (甚至 更 少 ) ， 如 果 剩 余 80% 的 
数据 价值 激发 起 来 ， 世 界 会 变 得 怎么 样 呢 ? 特别 是 随 着 数据 爆发 式 增 
长 ， 并 且 得 到 更 有 效应 用 ， 世 界 会 怎么 样 呢 ? 
单个 数据 并 没有 价值 ， 但 越 来 越 多 的 数据 累加 ， 量 变 就 会 引起 质 
就 好 像 一 个 人 的 意见 并 不 重要 ,但 1 千 人 、1 万 人 的 意见 就 比较 重 
上 百 万 人 就 足以 掀起 巨大 的 波澜 ， 上 亿 人 足以 改变 一 切 。 
数据 未 被 整合 和 挖掘 ， 其 价值 无 法 呈现 出 来 。《 永 无 止境 》 中 的 
库 珀 如 果 不 能 把 海量 信息 围绕 某 个 公司 的 股价 整合 起 来 、 串 联 起 来 ， 
这 些 信 息 就 没有 价值 。 

因此 ， 海 量 数据 的 产生 、 获 取 、 挖 据 及 整合 ， 使 之 展现 出 巨大 的 
商业 价值 ， 数 据 驱 动 经 营 ， 这 融 是 我 们 所 理解 的 大 数据 。 在 互联 网 对 
一 切 重 构 的 今天 ， 这 些 问题 都 不 是 问题 。 因 为 ， 大 数据 是 互联 网 深入 
发 展 的 下 一 疲 应 用 ， 是 互联 网 发 展 的 目 然 延伸 。 目 前 ， 可 以 说 大 数据 
的 友 展 到 了 一 个 临界 点 ， 才 会 成 为 IT 行业 中 最 热门 的 词汇 之 一 。 
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10.5.2 ”大 数据 将 重 构 很 多 行业 的 商业 思维 和 商业 模式 


我 们 以 对 未 来 汽车 行业 的 狂 野 想象 来 感受 大 数据 可 能 带 来 的 变 
化 。 

在 人 的 一 生 中 ， 汽 车 是 一 项 巨大 的 投资 。 以 一 部 30 万 元 的 车 、7 年 
换 车 周期 来 算 ， 每 年 折旧 费 4 万 多 元 (这 里 还 不 算 资金 成 本 ) ， 加 上 停 
车 、 保 险 、 油 、 维 修 、 保 养 等 各 项 费用 ， 每 年 花费 应 在 6 万 元 左右 。 汽 
车 产业 也 是 一 个 拥有 很 长 产业 链 的 龙头 产业 ， 这 个 方面 只 有 房地产 可 
以 旭 美 。 

但 同时 ， 汽 车 产业 链 是 一 个 低 效率 、 变 化 慢 的 产业 。 汽 车 一 直 以 
来 就 是 四 个 轮子 、 一 个 方向 盘 、 两 排 沙发 ( 李 书 福 语 ) 。 这 么 一 个 昂 
贵 的 东西 ， 围 绕 车 产生 的 数据 却 少 得 可 怜 ， 行 业 产业 链 之 间 几 乎 无 任 
何 数 据 传 递 。 

我 们 在 这 里 狂 野 地 想象 一 番 ， 如 果 将 汽车 全 面 数字 化 ， 都 大 数据 
了 ， 会 产生 什么 结果 ? 

有 些 人 说 ， 汽 车 数字 化 ， 不 就 是 加 个 MBB 模 块 吗 ? 不 ， 这 太 小 儿 
科 了 。 深 入 地 来 看 ， 数 字 化 意味 着 汽车 可 以 随时 连 上 互联 网 ， 意 味 着 
汽车 是 一 个 大 型 计算 系统 加 上 传统 的 轮子 、 方 向 盘 和 沙发 ， 意 味 着 可 
以 数字 化 导航 、 自 动 驾 驶 ， 意 味 着 你 和 汽车 相关 的 每 一 个 行动 都 数字 
化 ， 包 括 每 一 次 维修 、 每 一 次 驾驶 路 线 、 每 一 次 事故 的 录像 、 每 一 天 
汽车 关键 部 件 的 状态 ， 甚 至 你 的 每 一 个 驾驶 习惯 (如 每 一 次 的 刹车 和 
加 速 ) 都 记录 在 案 。 这 样 ， 你 的 车 每 月 甚至 每 周 都 可 能 产生 1TB 以 上 
的 数据 。 

好 了 ， 我 们 假设 这 些 数据 都 可 以 存储 并 分 享 给 相关 的 政府 、 行 业 
和 企业 。 这 里 不 讨论 隐私 问题 带 来 的 影响 ， 假 设 在 隐私 保护 的 前 提 


下 ， 数 据 可 以 自由 分 享 。 

那么 ， 保 险 公司 会 怎么 做 呢 ? 保险 公司 把 你 的 所 有 数据 拿 过 去 建 
模 分 析 ， 发 现 几 个 重要 的 事实 : 一 是 你 开车 主要 只 是 上 下 班 ，A 地 到 B 
地 这 条 线路 是 非 楷 华 路 线 ， 红 绿灯 很 少 ， 这 条 路 线 过 去 一 年 统计 的 事 
故 率 很 低 ; 你 的 车 况 《车 的 使 用 年 限 、 车 型 ) 好 ， 此 车 型 在 全 市 也 是 
车 祸 率 发 生 较 低 的 车 型 ;甚至 可 以 统计 你 的 驾驶 习惯 ， 加 油 平均 ， 临 
时 刹车 少 ， 超 手 少 ， 和 周围 车 保持 了 应 有 的 车 距 ， 驾 驶 习惯 好 。 最 后 
结论 是 ， 你 的 车 型 好 ， 车 况 好 ， 驾 驶 习惯 好 ， 单 走 的 线路 事故 率 低 ， 
过 去 一 年 也 没有 出 过 车 祸 ， 因 此 可 以 给 予 更 大 幅度 的 优惠 折扣 。 这 样 
保险 公司 就 完全 重 构 了 它 的 商业 模式 了 。 在 没有 大 数据 支撑 之 前 ， 保 
险 公 司 只 把 车 险 客 户 做 了 简单 的 分 类 ， 一 共 分 为 四 种 客户 ， 第 一 种 是 
连续 两 年 没有 出 车 祸 的 ， 第 二 种 是 过 去 一 年 没有 出 车 祸 的 ， 第 三 种 是 
过 去 一 年 出 了 一 次 车 饥 的 ， 第 四 种 是 过 去 一 年 出 了 两 次 及 以 上 车 福 
的 。 这 种 简单 粗略 的 分 类 ， 就 好 像 女 人 找 老公 ， 仅 把 男人 分 为 没有 结 
过 婚 的 、 结 过 一 次 婚 的 、 结 过 二 次 婚 的 、 结 过 三 次 及 以 上 婚 的 四 种 男 
人 ， 就 敢 嫁 人 一 样 。 在 大 数据 的 支持 下 ， 保 险 公司 可 以 真正 以 客户 为 
中 心 ， 把 客户 分 为 成 干 上 万 种 ， 每 个 客户 都 有 个 性 化 的 解决 方案 ， 这 
样 保险 公司 的 经 营 将 完全 不 同 ， 对 于 风险 低 的 客户 敢于 大 胆 地 给 予 折 
扣 ， 对 于 风险 高 的 客户 报 高 价 甚 至 拒绝 。 如 此 一 来 ， 一 般 的 保险 公司 
将 难以 和 这 样 的 保险 公司 竞争 。 拥 有 大 数据 并 使 用 大 数据 的 保险 公司 
比 传统 公司 将 拥有 压倒 性 的 竞争 优势 ， 大 数据 将 成 为 保险 公司 最 核心 
的 竞争 力 ， 因 为 保险 融 是 一 个 基于 概率 评估 的 生意 ， 对 于 准确 评估 概 
率 ， 大 数据 坚 无 疑问 是 最 有 利 的 武器 ， 而 且 简 直 是 量 身 定做 的 武器 。 

在 大 数据 的 支持 下 ，4S 店 的 服务 也 将 完全 不 同 。 车 况 信息 会 定期 
传递 到 4S 店 ，4S 店 会 根据 情况 及 时 提醒 车 主 及 时 保养 和 维修 ， 特 别 是 


对 于 可 能 危及 安全 的 问题 ， 在 客户 同 意 下 甚至 会 采取 远程 干预 指 施 ， 
同时 还 可 以 提前 备货 ， 车 主 一 到 4S 店 就 可 以 维修 而 不 用 等 待 。 

对 于 驾驶 者 来 说 ， 不 想 开 车 的 时 候 ， 在 大 效 据 和 人 工 智能 的 支持 
下 ， 车 辆 可 以 目 动 驾驶 ， 并 且 对 于 你 经 常 开 的 线路 可 以 上 自学 习 、 目 优 
化 。Google 的 目 动 驾驶 汽车 ， 为 了 对 周围 环境 做 出 预测 ， 每 秒 钟 要 收 
集 差不多 1GB 的 数据 ， 没 有 大 数据 的 支持 ， 自 动 驾 驶 是 不 可 想象 的 ，; 
在 与 周围 车 辆 距离 过 近 的 时 候 ， 会 及 时 提醒 车 主 避 让 ; 上 下 班 的 时 
候 ， 会 根据 实时 大 数据 情况 ， 对 于 你 经 常 开车 的 线路 予以 提醒 ， 绕 开 
es a 在 出 现 紧 急 状况 的 时 候 ， 比 如 爆 

， 自 动 驾驶 系统 将 自动 接管 ， 提 高 安全 性 《人 一 辈子 可 能 难以 碰 到 
一 次 爆 脸 ， 人 在 紧急 时 的 反应 往往 是 灾难 性 的 ， 只 会 更 糟 ) ; 到 城市 
中 心 ， 寻 找 车 位 是 一 件 很 麻烦 的 事情 ， 但 未 来 你 可 以 到 了 商场 门口 
后 ， 让 汽车 目 己 去 找 停 车 位 ， 等 想 要 回程 的 时 候 ， 提 前 通知 汽车 ， 让 
汽车 自己 开 过 来 接 你 。 

车 辆 是 城市 最 大 、 最 活跃 的 移动 物体 ， 是 拥堵 的 来 产 ， 也 是 最 大 
的 污染 来 产 之 一 。 数 字 化 的 车 辆 、 大 数据 应 用 将 市 来 很 多 的 改变 。 红 
绿灯 可 以 自动 优化 ， 根 据 不 同道 路 的 拥堵 情况 自动 进行 调整 ， 甚 至 在 
很 多 地 方 可 以 取消 红绿灯 ;城市 停车 场 也 可 以 大 幅度 优化 ， 根 据 大 数 
据 的 情况 优化 城市 停车 位 的 设计 ， 如 果 配 合 车 辆 的 自动 驾驶 功能 ， 停 
车 场 可 以 进行 革命 性 的 演变 ， 设 计 专 门 为 自动 驾驶 车 辆 服务 的 停车 
楼 ， 地下、 地 上 楼 层 可 以 高 达 几 十 层 ， 停 车 楼 层 可 以 更 矮 ， 只 要 高 于 
车 高 度 即 可 (或 者 把 车 坚 起 来 停 ;y ， 这 样 将 会 对 城市 规划 产生 巨大 的 
影响 ， 在 出 现 紧 急 情 况 时 ， 如 前 方 塌 方 的 时 候 ， 可 以 第 一 时 间 通 知 周 
围 车 辆 (尤其 是 开 往 塌方 道路 的 车 辆 ) ; 现在 的 燃油 税 也 可 以 发 生 间 
命 性 变化 ， 可 以 真正 根据 车 辆 的 行驶 路 程 ， 甚 至 根据 汽车 的 排污 量 来 


收费 ， 排 污 量 少 的 车 甚至 可 以 搞 破 交易 ， 将 排放 量 卖 给 高 油耗 的 车 ; 
政府 还 可 以 每 年 公布 各 类 车 型 的 实际 排污 量 、 税 款 、 安 全 性 等 指标 ， 
误 励 民众 买 更 首 能、 更 安全 的 车 。 

电子 商务 和 快递 业 也 可 能 发 生 巨 大 的 变化 。 运 快递 的 车 可 以 上 自动 
驾驶 ， 不 用 在 日 天 行驶 在 拥堵 的 道路 ， 而 在 晚上 行驶 。 你 可 以 在 家 门 
口 设计 自动 接收 箱 ， 通 过 开启 密码 自动 投递 进去 ， 就 好 像 过 去 报 童 投 
报 一 样 。 

这 么 想象 下 来 ， 我 们 看 到 ， 汽 车 数字 化 、 互 联网 化 、 大 数据 应 
用 、 人 工 智 能 等 将 对 汽车 业 及 相关 的 长 产业 链 产 生 难 以 想象 的 巨大 变 
化 和 产业 革命 ， 具 有 无 限 的 想象 空间 ， 可 能 完全 被 重 构 。 当 然 ， 要 实 
现 我 们 所 描述 的 场景 ， 还 有 很 长 的 路 要 走 。 

下 面 ， 我 们 总 结 一 下 大 数据 将 会 市 来 的 改变 。 

第 一 ， 大 效 据 使 企业 真正 有 能 力 从 以 自我 为 中 心 改 变 为 以 客户 为 
中 心 。 企 业 是 为 客户 而 生 的 ， 目 的 是 为 股东 获得 利润 。 只 有 服务 好 客 
户 ， 才 能 获得 利润 。 但 过 去 ， 很 多 企业 是 没有 能 力 做 到 以 客户 为 中 心 
的 ， 原 因 就 是 相应 客户 的 信息 量 不 大 ， 挖 掘 不 够 ， 系 统 也 不 支持 ， 目 
前 的 保险 业 就 是 一 个 典型 。 大 数据 的 使 用 能 够 使 对 企业 的 经 营 对 象 从 
客户 的 粗略 归纳 (提炼 归纳 的 “客户 群 ”") 还 原 成 一 个 个 活生生 的 客 
尸 ， 这 样 经 营 就 有 针对 性 ， 对 客 尸 的 服务 就 更 好 ， 投 资 效 率 就 更 高 。 

第 二 ， 大 数据 在 一 定 程度 上 将 颠 履 了 企业 的 传统 管理 方式 。 现 代 
企业 的 管理 方式 来 源 于 对 军队 的 模仿 ， 依 赖 于 层 层 级 级 的 组 织 和 严格 
的 流程 ， 依 赖 信息 的 层 层 汇集 、 收 敛 来 制定 正确 的 决策 ， 再 通过 决策 
在 组 织 的 传递 与 分 解 以 及 流程 的 规范 ， 确 保 决策 得 到 贯彻 ， 确 保 每 一 
次 经 营 活动 都 有 质量 保证 ， 也 确保 一 定 程度 上 对 风险 的 规避 。 过 去 这 
是 一 种 有 用 而 答 拙 的 方式 。 在 大 数据 时 代 ， 我 们 可 能 重 构 企业 的 管理 


方式 ， 通 过 大 数据 的 分 析 与 挖掘 ， 大 量 的 业务 本 身 就 可 以 自决 策 ， 不 
必要 依靠 膨大 的 组 织 和 复杂 的 流程 。 大 家 都 是 基于 大 数据 来 决策 ， 者 
是 依赖 于 既定 的 规则 来 决策 ， 是 高 高 在 上 的 首席 执行 官 决策 ， 还 是 一 
线 人 员 决策 ， 本 身 并 无 大 的 区 别 ， 那 么 企业 是 否 还 需要 如 此 多 层级 的 
组 织 和 复杂 的 流程 呢 ? 

第 三 ， 大 数据 另外 一 个 重大 的 作用 是 改变 了 商业 逻辑 ， 提 供 了 从 
其 他 视角 直达 答案 的 可 能 性 。 现 在 人 的 思考 或 者 企业 的 决策 ， 事 实 上 
都 是 逻辑 的 力量 在 主导 起 作用 。 我 们 去 调研 、 收 集 数 据 、 进 行 归纳 总 
结 ， 最 后 形成 自己 的 推断 和 决策 意见 ， 这 是 一 个 观察 、 思 考 、 推 理 、 
决策 的 商业 远 辑 过 程 。 人 和 组 织 的 逻辑 形成 需要 大 量 的 学 习 、 培 训 与 
实践 ， 代 价 是 非常 巨大 的 。 但 这 是 否 是 唯一 的 道路 呢 ? 大 数据 给 了 我 
们 其 他 的 选择 ， 就 是 利用 数据 的 力量 ， 直 接 获得 答案 。 就 好 像 我 们 学 
习 数学 ， 小 时 候 学 九 九 乘法 表 ， 中 学 学 几何 ， 大 学 学 微 积分 ， 碰 到 一 
道 难题 ， 我 们 是 利用 了 多 年 学 习 沉 淀 的 经 验 来 努力 求解 ， 但 我 们 还 有 
一 种 方法 ， 在 网 上 直接 搜索 是 不 是 有 这 样 的 题目 ， 如 果 有 ， 直 接 抄 答 
案 就 好 了 。 很 多 人 就 会 批评 说 ， 这 是 抄 效 ， 是 作弊。 但 我 们 为 什么 要 
学 习 啊 ? 不 就 是 为 了 解决 问题 嘛 。 如 果 我 任何 时 候 都 可 以 搜索 到 答 
案 ， 可 以 用 最 省 力 的 方法 找到 最 佳 答案 ， 这 样 的 搜索 难道 不 可 以 是 一 
条 光明 大 道 吗 ? 换 句 话说 ， 为 了 得 到 "是 什么 "， 我 们 不 一 定 要 理解 "为 
什么 "。 我 们 不 是 否定 逻辑 的 力量 ， 但 是 至 少 我 们 有 一 种 新 的 巨大 力量 
可 以 依赖 ， 这 就 是 未 来 大 数据 的 力量 。 

第 四 ， 通 过 大 数据 ， 我 们 将 以 全 新 的 视角 来 发 现 新 的 商业 机 会 和 
重 构 新 的 商业 模式 。 我 们 现在 看 这 个 世界 ， 比 如 分 析 家 中 食品 腐败 ， 
主要 就 是 依赖 于 我 们 的 眼睛 再 加 上 我 们 的 经 验 ， 但 如 果 我 们 有 一 台 显 
微 镜 ， 我 们 一 下 就 看 到 坏 细菌 ， 那 么 分 析 起 来 就 完全 不 一 样 了 。 大 数 


据 就 是 我 们 的 显微镜 ， 它 可 以 让 我 们 从 全 新 视角 来 发 现 新 的 商业 机 
会 ， 并 可 能 重 构 商 业 模型 。 我 们 的 产品 设计 可 能 不 一 样 了 ， 很 多 事情 
不 用 猜 了 ， 客 户 的 习惯 和 偏好 一 目 了 然 ， 我 们 的 设计 能 轻易 命中 客户 
的 心窝 ;我 们 的 营销 也 完全 不 同 了 ， 我 们 知道 客户 喜欢 什么 、 讨 厌 什 
么 ， 更 有 针对 性 。 特 别 是 显微镜 再 加 上 广角 镜 ， 我 们 将 有 更 多 全 新 的 
视野 了 。 这 个 广角 镜 就 是 跨行 业 的 效 据 流动 ， 使 我 们 过 去 看 不 到 的 东 
西 都 能 看 到 了 ， 比 如 前 面 所 述 的 汽车 案例 ， 开 车 是 开 和 车， 保险 是 保 
险 ， 本 来 不 相关 ， 但 当 我 们 把 开车 的 大 数据 传递 到 保险 公司 以 后 ， 整 
个 保险 公司 的 商业 模式 就 完全 重 构 了 。 


第 11 章 企业 私有 云 和 公有 云 对 
IAAS 层 的 诉求 


11.1 企业 云 和 公有 云 对 IAAS 层 的 诉 : 


随 着 云 计算 技术 、 产 品 、 解 决 方案 的 发 展 ， 企 业 私 有 云 建设 和 公 
有 云 计算 均 进入 新 一 轮 建设 高 泣 ， 同 时 也 面临 着 新 的 问题 。 


多 厂家 产品 集成 带 来 的 建设 周期 长 的 问题 


私有 云 和 公有 云 建 设 需 要 购买 服务 器 、 存 储 、 网 络 、 操 作 系统 、 
数据 库 、 虚 拟 化 软件 、 云 基础 设施 软件 、 管 理 软件 ， 最 终 构 建成 企业 
所 需要 的 私有 云 基础 设施 。 在 规划 和 采购 过 程 中 ， 客 户 根 据 上 自己 的 经 
验 ， 挑 选 符合 建设 目标 的 设备 ， 因 此 在 建设 过 程 中 ， 面 临 多 个 设备 广 
家 、 多 种 设备 型 号 、 多 种 软件 资源 (虚拟 化 软件 、 操 作 系 统 、 数 据 
库 、 双 机 等 ) 的 异 构 集成 和 整合 ， 例 如 服务 器 和 存储 的 集成 ， 网 络 设 
备 和 计算 /存储 设备 的 对 接 ; 同时 客户 也 必须 完成 软件 和 硬件 的 对 接 ， 
例如 OS 同 应 用 软件 和 硬件 的 集成 ， 与 新 的 管理 软件 的 集成 ， 需 要 全 面 
的 软 硬 件 对 接 联 调 保证 云 基础 设施 可 以 正 单 工作。 客户 往 往 需要 借助 
技术 理解 深 协调 能 力 强 、 组 织 支 撑 到 位 的 集成 商 才能 完成 私有 云 或 
公有 云 的 建设 ,不 仅 需 要 投入 大 量 的 集成 服务 成 本 ， 而 且 会 面临 云 基 
础 设施 建设 周期 长 ， 无 法 有 效 支 撑 业 务 发 展 等 问题 。 


业务 和 应 用 迁移 


私有 云 和 公有 云 的 建设 是 为 了 支持 企业 的 IT 业务 发 展 ， 即 需要 承 
载 企 业 的 开业 务 /应 用 。 因 此 ， 快 速 、 平 滑 地 将 原 有 二 业务 和 应 用 迁移 
到 新 的 基础 设施 上 ， 或 部 署 新 的 业务 /应 用 是 云 基础 设施 建设 过 程 中 的 
天 键 任务 。 首 先 ， 企 业 必 须 确定 哪些 业务 /应 用 可 以 采用 物理 部 署 或 虚 
拟 化 部 署 ， 不 是 所 有 的 业务 都 适合 采用 虚拟 化 部 署 ， 也 不 是 所 有 的 应 
用 都 可 以 迁移 到 虚拟 化 平台 上 ， 因 此 企业 必须 了 解 和 确定 迁移 策略 和 
方案 。 其 次 ， 当 业务 /应 用 迁移 时 ， 在 云 基础 设施 上 ， 各 类 应 用 需要 分 
配 何 种 类 型 资源 ， 各 设备 之 间 需 要 如 何 配合 ， 如 何 保证 各 业务 的 可 靠 
性 、 安 全 隔离 ， 是 企业 必须 考虑 的 第 二 个 问题 。 第 三 ， 应 用 迁移 后 ， 
如 何 对 应 用 的 性 能 进行 调 优 ， 保 证 应 用 SLA， 快 速 定 位 和 解决 问题 ， 
是 企业 必须 面 对 的 第 三 个 问题 。 原 有 业务 /应 用 的 迁移 ， 新 业务 /应 用 的 
快速 部 署 ， 是 决定 云 基础 设施 成 败 的 天 键 。 


多 厂家 设备 管理 难度 


多 厂家 设备 不 仅仅 需要 IT 维护 人 员 需 要 具备 多 种 设备 的 维护 能 
力 ， 对 人 力 成 本 和 人 员 培 训 提 出 了 更 高 的 要 求 。 多 厂家 设备 也 为 快速 
问题 定位 市 来 巨大 的 挑战 。 在 云 计算 环境 下 ， 资 源 高 度 的 虚拟 化 ， 应 
用 程序 与 组 件 是 多 对 多 的 依赖 关系 ， 一 个 应 用 程序 出 了 故障 ， 很 难 快 
速 、 准 确 地 定位 是 哪个 厂家 的 哪个 组 件 出 现 了 问题 ， 因 此 ， 问 题 故 障 
的 定位 是 云 计 算 环境 下 数据 中 心 管理 的 又 一 大 挑战 。 


系统 平滑 扩展 问题 


随 着 BYOD， 移 动 、 社 交 、 大 数据 的 发 展 ， 企 业 需 要 能 够 快速 扩 
容 云 基础 设施 为 业务 和 员工 提供 更 多 的 IT 服务 ， 因 此 ， 无 论 是 企业 云 


是 公有 云 ， 都 需要 有 平 消 扩展 能 力 。 首 先 需要 快速 扩展 系统 ， 提 供 
更 多 的 资产 ; 其 次 ， 扩 展 时 不 能 影响 现 有 业务 ; 第 三 ， 扩 展 后 的 系统 
要 能 够 充分 利用 扩容 前 的 资产 和 扩容 后 的 资源， 提升 资产 利用 率 。 

为 了 解决 客户 在 私有 云 和 公有 云 建设 过 程 中 面临 的 挑战 ， 云 计算 
设备 供应 商 开 始 纷纷 推出 一 体 机 设备 ，HP 在 2007 年 推出 业界 首 款 一 体 
机 CloudSystem， 之 后 业界 开始 涌现 出 数据 库 一 体 机 、 数 据 仓 库 一 体 
机 、 基 础 设施 一 体 机 、 参 考 架 构 一 体 机 、 计 算 存储 融合 一 体 机 等 适用 
于 各 种 业务 场景 的 一 体 机 。2012 年 一 体 机 总 市 场 超过 30 亿 美金 ， 并 在 
未 来 的 5 年 以 40% 的 年 增长 率 快 速 增 长 ， 这 标志 着 客户 对 一 体 机 的 态度 
已 经 从 尝试 、 认 可 到 大 规模 采购 的 转变 。 一 体 机 已 经 成 为 云 基础 设施 
的 关键 成 员 。 

目前 ， 业 界 对 于 一 体 机 (Applicance) 并 没有 一 个 通用 的 定义 ， 从 
一 体 机 应 用 场景 和 客户 对 一 体 机 的 需求 角度 来 分 析 ， 一 体 机 应 该 具备 
的 通用 特征 : 


简化 的 基础 设施 组 件 


未 


客户 需要 能 够 快速 部 署 、 易 于 维护 、 快 速 定 位 问题 的 基础 设施 组 
件 ， 因 此 ， 一 体 机 系统 是 结构 简洁 、 接 口 统 一 、 各 组 件 的 管理 系统 统 
一 的 基础 设施 。 例 如 有 一 套 统一 的 管理 系统 ， 柜 内 通信 部 需要 外 置 交 
换 机 等 。 


融合 的 基础 设施 组 件 


传统 的 计算 、 存 储 、 网 络 三 大 件 模型 是 为 了 各 厂家 设备 对 接 的 水 
平 划 分 架构 ， 当 一 体 机 作为 基础 设施 建设 基本 组 件 时 ， 本 身 可 看 成 是 


一 个 提供 融合 了 计算 、 存 储 、 网 络 资源 的 实体 ， 因 此 ， 一 体 机 网 络 可 
以 采用 各 种 融合 的 技术 ， 例 如 ， 计 算 和 存储 融合 ， 由 服务 器 提供 计算 
资源 和 存储 资源 ， 不 需要 外 置 的 存储 ; 计算 和 网 络 的 融合 ， 机 框 内 交 
换 板 提 供 框 内 和 框 间 交换 功能 ， 不 需要 外 和 置 交换 机 。 融 合 技术 在 一 体 
机 的 应 用 即 可 以 简化 一 体 机 结构 ， 也 可 提升 性 能 ， 并 降低 成 本 ， 是 一 
体 机 的 关键 技术 之 一 。 

企业 IT 业 务 发 展 要 求 IT 基 础 设施 可 以 快速 、 平 滑 扩 展 ， 一 体 机 厂 
家 采用 各 种 技术 来 支持 平滑 扩展 ， 例 如 计算 和 存储 融合 染 构 的 一 体 
机 ， 直 接 增加 服务 器 就 可 以 扩展 计算 和 存储 资产， 不仅 简单 、 快 速 而 
且 成 本 低 。 


11.2 一 体 机 的 市 场 和 技术 
11.2.1 一 体 机 市 场 


自从 HP 在 2007 年 推出 业界 首 款 一 体 机 CloudSystem，Oracle 在 2008 
年 推出 软 硬 件 集成 的 数据 库 云 服 务 器 Oracle Exadata， 一体 机 被 业界 广 
泛 接 受 ， 顺 应 企业 需求 ， 业 界 已 经 推出 三 类 一 体 机 产品 。 

(1) 应 用 一 体 机 : 专门 承载 某 类 应 用 或 功能 的 一 体 机 ， 如 Oracle 
Exadata 一 体 机 ，SAP HANA 一 体 机 ， 大 数据 一 体 机 。 
) 

(2) 基础 设施 一 体 机 : 集成 了 服务 器 ， 存 储 设备 ， 网 络 设备 的 开 
机 即 用 的 基础 设施 设备 ， 厂 家 通常 提供 多 种 型 号 来 满足 各 种 规模 企业 
客户 的 需要 ， 典 型 产品 如 Vblock 100/200/320/720 等 。 

(3) 参考 架构 一 体 机 : 提供 一 个 基础 设施 设备 所 需 的 服务 器 ， 存 
储 设备 ， 网 络 设备 的 型 号 和 规格 ， 客 户 可 以 按 需 选 择 部 件 型 号 和 规格 


来 拼装 一 体 机 ， 典 型 产品 如 Flexpod。 

应 用 一 体 机 的 主要 供应 商 为 应 用 软件 厂商 ， 例 如 应 用 一 体 机 中 排 
名 第 一 的 Exadata， 其 优势 在 于 业界 份额 第 一 的 Oracle 数 据 库 和 数据 仓 
库 软 件 。 

基础 设施 一 体 机 和 参考 架构 一 体 机 的 供应 商 以 硬件 厂家 为 主 ， 厂 
家 基于 其 硬件 产品 对 客户 的 影响 力 和 对 客户 需求 的 深入 把 握 ， 主 流 厂 
家 包括 EMC、CISCO、HP、IBM。 

自 一 体 机 推出 后 ， 一 体 机 销售 快速 增长 。 据 统计 2012 年 一 体 机 的 
总 收入 为 约 40 亿 美元 ， 较 2011 年 增长 50%， 三 类 一 体 机 收入 基本 相 
当 ， 约 各 占 1/3。 据 IDC 预 测 ，2016 年 一 体 机 市 场 空 间 将 达到 178 亿 美 
JUo 

目前 一 体 机 的 主要 市 场 在 美国 ， 欧 洲 和 亚太 区 域 。 北 美和 欧洲 的 
工业 化 水 平 较 高 ，IT 基 础 设施 需求 一 直 比 较 强 劲 ， 同 时 由 于 人 力 成 本 
较 高 ， 因 此 市 场 对 于 部 署 快 速 ， 维 护 简 单 的 一 体 机 持 接受 态度 ， 亚 太 
地 区 由 于 中 国 等 经 济 发 展 较 快 国家 对 于 IT 设备 需求 旺盛 ， 同 时 由 于 IT 
维护 人 才 经 验 等 因素 ， 对 方便 扩展 ， 维 护 简单 的 一 体 机 也 接纳 很 快 。 
据 统计 ，2012 年 一 体 机 销售 中 北美 市 场 约 50%， 了 欧洲 和 亚太 各 约 25%。 

业界 通常 将 IT 基础 设施 市 场 分 成 四 类 。 

(1) 中 小 企业 : 通常 简称 为 SMB， 这 类 企业 的 开设 施 规模 不 大 。 

(2) 大 企业 : 企业 的 I 设施 规 模 较 大 ，IT 应 用 规模 和 种 类 都 较 
多 。 

(3) 服务 提供 商 : 主要 是 指向 企业 或 最 终 客户 提供 电信 业务 、 互 
联网 业务 、 数 据 中 心 外 包 等 业务 的 提供 商 。 

(4) 超大 规模 业务 提供 商 : 主要 是 指 一 些 全 球 性 的 业务 提供 商 ， 
例如 搜索 巨头 Google， 电 子 商 务 兼 云 计 算 服 务 提 供 商 Amazon， 这 些 全 


球 性 IT 业务 巨头 具有 大 量 IT 研发 工程 师 和 维护 工程 师 ， 上 自己 开发 业务 
系统 ， 因 此 往往 需要 定制 硬件 ， 通 单 不 会 采用 一 体 机 。 

目前 一 体 机 客户 集中 于 中 小 企业 ， 大 企业 和 部 分 服务 提供 商 ， 由 
于 小 规模 、 低 成 本 一 体 机 产品 比较 少 ， 因 此 主要 客户 来 自 大 企业 。 


11.2.2 一 体 机 技术 


NoSQL/MapReduce 技 术 


随 着 IT 技术 的 发 展 ， 信 息 处 理 的 对 象 发 生 了 极 大 的 变化 ， 从 关系 
数据 的 处 理 到 非 关 系数 据 的 处 理 方向 转变 ， 从 中 小 规模 数据 量 (TB) 
处 理 到 大 规模 数据 (PB/ZB) 处 理 转 变 。 与 此 呼应 ， 新 数据 处 理 技术 
不 断 涌现 ， 其 中 上 典型 的 是 非 关 系 型 数据 库 技术 NoSQL 和 分 布 式 处 理 技 
术 MapReduce。 


NoSQL 


NoSQL 是 Not only SQL 的 缩写 ， 是 对 不 同 于 传统 的 关系 型 数据 库 
的 数据 库 管 理 系统 的 统称 。 

两 者 存在 许多 显著 的 不 同 点 ， 其 中 最 重要 的 是 NoSQL 不 使 用 SQL 
作为 查询 语言 。 其 数据 存储 可 以 不 需要 固定 的 表格 模式 ， 也 经 常会 避 
免 使 用 SQL 的 JOIN 操作 ， 一 般 有 水 平 可 扩展 性 的 特征 。NoSQL 的 实现 
具有 两 个 特征 : 使 用 硬盘 ， 或 者 把 随机 存储 器 作 存储 载体 。 

NoSQL 一 词 最 早出 现 于 1998 年 ， 是 Carlo Strozzi 开 发 的 一 个 轻 量 、 
开源 、 不 提供 SQL 功能 的 关系 数据 库 。 


2009 年 ，Last.fm 的 Johan Oskarsson 发 起 了 一 次 关于 分 布 式 开 产 数 
据 库 的 讨论 ， 来 自 Rackspace 的 Eric Evans 再 次 提出 了 NoSQL 的 概念 ， 
这 时 的 NoSQL 主 要 指 非 关 系 型 、 分 布 式 、 不 提供 ACID 的 数据 库 设 计 模 
式 。 

2009 年 在 亚特兰大 举行 的 no:sql (east) ”讨论 会 是 一 个 里 程 碑 ， 
其 口号 是 “SELECT fun, profit FROM real world WHERE 
relational=false”。 因 此， 对 NoSQL 最 普遍 的 解释 是 “ 非 关 联 型 的 "， 强 调 
Key-Value Stores 和 文档 数据 库 的 优点 ， 而 不 是 单纯 地 反对 RDBMS。 

当代 典型 的 关系 型 数据 库 在 一 些 应 用 中 表现 出 糟糕 的 性 能 ， 例 如 
为 巨 量 文档 建立 索引 、 高 流量 网 站 的 网 页 服务 ， 以 及 发 送 流 式 媒体 。 
关系 型 数据 库 的 典型 实现 主要 被 调整 用 于 执行 规模 小 而 读 写 频繁 ， 或 
者 大 批量 极 少 写 访问 的 事务 。 


MapReduce 


MapReduce 是 Google 提 出 的 一 个 软件 架构 ， 用 于 大 规模 数据 集 
(大 于 1TB) 的 并 行 运算 。 概 念 *Map (映射 ) * 和 “Reduce (化 简 ) ”， 
及 他 们 的 主要 思想 ， 都 是 从 函数 式 编程 语言 借 来 的 ， 还 有 从 矢量 编程 
语言 借 来 的 特性 。 

当前 的 软件 实现 是 指定 一 个 Map 《映射 ) 孙 数 ， 用 来 把 一 组 键 值 
对 映射 成 一 组 新 的 键 值 对 ， 指 定 并 发 的 Reduce 〈 化 简 ) 函数 ， 用 来 保 
证 所 有 了 映射 的 键 值 对 中 的 每 一 个 共享 相同 的 键 组 。 

简单 来 说 ， 一 个 映射 函数 就 是 对 一 些 独立 元 素 组 成 的 概念 上 的 列 
表 (例如 ， 一 个 测试 成 绩 的 列表 ) 的 每 一 个 元 素 进 行 指定 的 操作 ( 比 
如 ， 有 人 发 现 所 有 学 生 的 成 绩 都 被 高 估 了 一 分 ， 他 可 以 定义 一 个 “ 减 


一 ”的 映射 函数 ， 用 来 修正 这 个 错误 ) 。 事 实 上 ， 每 个 元 素 都 是 被 独立 
操作 的 ， 而 原始 列表 没有 被 更 改 ， 因 为 这 里 创建 了 一 个 新 的 列表 来 保 
存 新 的 答案 。 这 就 是 说，Map 操 作 是 可 以 高 度 并 行 的 ， 这 对 高 性 能 要 
求 的 应 用 以 及 并 行 计算 领域 的 需求 非常 有 用 。 

化 简 操作 指 的 是 对 一 个 列表 的 元 素 进行 适当 的 合并 。 继 续 看 前 面 
的 例子 ， 如 果 有 人 想 知道 班级 的 平均 分 该 怎么 做 ? 他 可 以 定义 一 个 化 
简 函 数 ， 通 过 让 列表 中 的 奇数 (odd) 或 偶数 (even) 元 素 跟 自己 的 相 
邻 的 元 素 相 加 的 方式 把 列表 减 半 ， 如 此 递归 运算 直到 列表 只 剩 下 一 个 
元 素 ， 然 后 用 这 个 元 素 除 以 人 数 ， 惑 得 到 了 平均 分 。 昌 然 它 不 如 映射 
孙 数 那么 并 行 ， 但 是 因为 化 简 总 是 有 一 个 简单 的 答案 ， 大 规模 的 运算 
相对 独立 ， 所 以 化 简 阔 数 在 高 度 并 行 环境 下 也 很 有 用 。 


SSD 技 术 


SSD (Solid-State Drive) 固态 硬盘 ， 采 用 NAND Flash 颗 粒 ， 它 能 
够 有 效 填补 在 CPU 计 算 能 力 越 来 越 强 的 情况 下 ， 内 存 与 HDD 之 间 越 来 
越 大 的 IOPS 和 时 延 的 缺口 。 

PCIe SSD 提供 高 达 600KG@4KB 100% Random 读 IOPS 性 能 以 及 
3000MBPS 读 写 带宽 ， 满 足 客户 对 高 TO、 高 带宽 的 业务 需求 〈 见 图 11- 
1、 图 11-2) 。 
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图 11-1 PCIe SSD 与 磁盘 、SSD 盘 、FC 阵 列 读 写 带 宽 对 比 
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SAS 机 械 硬盘 SATS SSD 硬 盘  FC 磁 盘 阵列 PCIe SSD 卡 


图 11-2 PCIe SSD 与 磁盘 、SSD 盘 、FC 阵 列 IOPS 对 比 

SSD 已 经 被 广泛 应 用 ， 不 仅 被 用 做 Cache 缓 存 ， 而 且 在 数据 库 、 高 
性 能 存储 等 领域 ，SSD 还 被 作为 主 存 替 代 传 统 的 磁盘 ， 以 获得 更 好 的 
IOPS 和 读 写 时 延 。 如 Oracle 的 数据 库 一 体 机 Exadata、VCE 的 
Vblock/Flexpod、 Nutanix 的 基础 设施 一 体 机 、 华 为 的 FusionCube 基 础 设 
施 一 体 机 等 见 图 11-3) 。 

NAND Flash 分 为 三 种 ,分 别 是 单 层 式 存储 (SLC) 、 多 层 式 存储 
(MLC， 通 常用 来 指称 两 层 式 存储 ) 、 三 层 式 存储 (TLC) 。 随 着 制 


造 工艺 的 不 断 改 进 ， 成 本 持续 下 降 ， 但 是 SLC 的 成 本 仍然 过 高 ，MLC 
被 大 量 用 于 企业 应 用 。 

SSD 技 术 的 关键 挑战 是 寿命 和 制造 工艺 的 提升 。 随 着 制造 工艺 的 
提升 ， 每 单元 容纳 的 电子 数量 越 来 越 少 (30@20nm) ，2D NAND 
Flash 在 12/10nm 遭 遇 天 人 花 板 ，3D 近 术 可 以 缓解 可 靠 性 瓶颈 ， 但 无 法 根 
本 解决 ，3D NAND Flash 技 术 越 来 越 成 熟 ， 在 2014 一 2015 年 量 产 。 随 
着 工艺 提升 到 1xnm， 对 控制 器 算法 纠 错 的 能 力 要 求 越 来 越 高 ， 控 制 器 
将 走向 ASIC 化 。 
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图 11-3 ”SSD 成 为 内 存 和 磁盘 之 间 的 Cache， 并 向 两 侧 应 用 渗透 

SSD 发 展 轨 迹 具体 如 下 : 

” 接口 不 断 丰 富 ， 速 率 不 断 提升 ， 和 I 业界 接口 互 连 技术 发 展 
的 整体 节奏 保持 一 致 ， 

”> 控制 器 ASIC 化 ， 且 商业 ASIC 控 制 器 逐步 被 少数 厂商 把 控 ， 部 
分 系统 厂 丙 选择 自 研 SSD 控 制 器 ，; 

” 针对 NAND FLASH 介 质 的 可 靠 性 /高 性 能 优化 技术 在 不 断 深 
入 ， 特 别 是 系统 应 用 的 改进 。 

NAND FLASH 发 展 轨迹 具体 如 下 : 


” 工艺 不 断 进 步 ， 且 发 展 呈 加 速 趋势 ，3D NAND 预 计 在 2015 一 
2016 年 会 走向 批量 商用 ，; 

” 纠 错 能 力 要 求 越 来 越 高 ， 控 制 器 实现 复杂 度 增加 ; 

”~ 单 Die 容 量 越 来 越 大 ， 单 位 容量 成 本 不 断 降低 ， 了 逐步 逼近 企业 
级 SAS HDD。 

NVRAM 和 PCIe SSD 性 能 规格 对 比 ， 如 图 11-4 所 示 。 
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图 11-4 NVRAM 和 PCIe SSD 性 能 规格 对 比 
NVRAM 技 术 


NVRAM 非 易 失 性 随机 访问 存储 器 (Non-Volatile Random Access 
Memory) ， 是 指 断 电 后 仍 能 保持 数据 的 一 种 RAM。 本 章节 讲述 的 
NVRAM 主 要 针对 两 种 形态 ， 即 “DRAM+NAND Flash+ 备 电 的 
NVDIMM” 形 态 和 PCIe NVRAM 形 态 ， 这 两 种 形态 以 获取 与 内 存 相当 
的 访问 性 能 为 目标 。 

NVRAM (NVDIMM、PCIe NVRAM) 比 SSD 具 有 更 低 的 时 延 、 
更 大 的 带宽 、 更 高 的 IOPS、 无 写 寿 命 限制 等 优势 ， 但 价格 相 比 SSD 更 
高 ， 容 量 比较 有 限 ， 主 要 用 于 写 Cache 应 用 〈 见 表 11-1) 。 

表 11-1 NVRAM 和 PCIe SSD 的 性 能 规格 对 比 


NVDIMM PCle SSD PCle NVRAM 
存储 颗粒 “|DRAM+SLC Nand Flash MLC Nand Flash DRAM+SLC Nand Flash 
读 带 宽 : 1.1 一 3.2GB/s 
写 带 宽 : 0.6 一 2.8GB/s 带宽 : 3.2GB/s( 顺 序 读 写 ) 
性 能 带宽 高 ，9.4GB/s 4k 随 机 读 IOPS: 260 一 720K |4K 随 机 IO 读 写 
0 时 延 : <lus 级 4k 随 机 写 IOPS: 60~240K |IOPS: 630K 
写 时 延 正 ，20us 时 延 相 对 高 : <16us 
该 时 延 : 62us 
容量 2GB/4GB/8GB 400GB 一 2.4TB 4GB/8GB 
寿命 不 限制 写 有 限 写 寿命 不 限制 写 
接口 DDR3 RDIMM PCIe GEN2X8 PCIe GEN2X8 
标准 DIMM 条 形状 ， 备 电 | 、、 ey 
尺寸 | i 全 高 半 长 全 高 半 长 
占用 1 个 DIMM 空 间 
标准 字符 设备 、 块 设备 ; 
访问 方式 “| 内 存 接 口 块 设备 接口 API 接 口 (封装 DMA); 
内 存 接口 (MMIO 方 式 ) 


低 延 迟 、 高 带宽 的 网 络 技术 RDMA/IB 


RDMA (Remote Direct Memory Access) 技术 全 称 远程 直接 数据 存 
取 ， 顾 名 思 义 是 远程 的 DMA， 通 过 该 技术 ， 可 以 通过 网 络 把 数据 直接 
传 入 另 一 台 服 务 器 (设备 ) 的 某 一 块 内 存 区 域 ， 几 乎 不 需要 耗费 本 地 
与 对 端的 服务 器 CPU 的 处 理 能 力 。 在 实现 上 ， 其 主要 通过 将 可 靠 传输 
协议 固化 到 硬件 并 且 支 持 零 拷 贝 技 术 来 实现 。 

目前 ， 有 三 种 高 速 互联 技术 (RDMA) ， 分别 是 老牌 技术 
InfiniBand、 基 于 以 太 网 的 RoCE 技 术 以 及 基于 以 太 网 的 WARP 技 术 。 

InfiniBand 的 心 片 三 家 少 ， 仅 有 Mellanox、QLogic 两 家 ， 分 别 占据 
80% 和 20% 的 市 场 份额 ， 厂 家 少 的 优点 是 新 数据 传输 速率 标准 的 制定 的 
相应 产品 的 推出 远 比 以 太 网 技术 快 。InfiniBand 技 术 主 要 应 用 于 : 

> 高 端 HPC 市 场 ; 


> 企业 级 数据 中 心 ; 

” 金融 与 证 券 交 易 市 场 ，; 

~ Scale-out NAS 存 储 系统 及 其 他 高 端 存储 系统 ; 
” 高 端 数据 库 系统 。 

iWARP (Intemet Wide-Area RDMA Protocol) 是 由 IETF 组 织 定义 
的 一 种 能 在 以 太 网 上 使 用 RDMA 技 术 的 网 络 技术 。 

RoCE (RDMA over Converged ETH) 是 由 IBTA 标 准 化 组 织 定义 的 
一 种 在 以 太 网 上 采用 RDMA 技 术 的 网 络 互 联 技术 。 

IB、 以 太 和 RoCE 在 时 延 、 带 宽 成 本 方面 对 比 情况 如 下 。 

> 时 延 : IB FDR < IB QDR <40G RoCE < 10G RoCE < iWARP 
<40 TCP/IP < 10G TCP/IP。 

> 带宽 成 本 : 40G RoCE < 10GE < IB FDR < IB QDR。 

> 综合 对 比 : 40G RoCE 最 优 。 

RDMA 技 术 能 够 出 色 地 降低 CPU 负载 ， 缩 短 网 络 传输 时 延 ， 并 且 
具有 低 成 本 的 优势 ， 已 经 在 数据 库 、HPC、 人 金融 、SMB、 大 数据 、 虚 
拟 化 等 场景 得 到 应 用 。 

业界 支持 RoCE 的 情况 具体 如 下 : 

” 开源 Linux OFED 组 件 从 1.5.1 (2010) 版 本 开始 支持 RoCE， 目 
前 已 是 1.5.4; 

>” Oracle Exadata/Exalogic 一 体 机 通过 OFED 及 IB 支 持 RDMA，; 

>” 微软 在 SMB2.2 时 已 经 支持 RoCE， 在 3.0 中 更 强化 了 对 RDMA 
的 支持 。 目 前 ，IB、RoCE 及 iWARP 均 可 在 微软 平台 上 使 用 ; 

”VMware 已 开始 进行 虚拟 化 环境 RDMA 支 持 方面 的 初步 工作 ，; 

” EMC 的 高 性 能 固态 存储 “Thunder” 支 持 RDMA， 


> IBM DB2 pureScale 数 据 库 、XIV Gen3 存 储 阵列 、TMS 固 态 存 
储 均 支持 RoCE ; 
”~ Emulex 会 在 其 Skyhawk (4x10GbE) 网 络 适 配器 上 支持 


EoCE) 


> Mellanox 公 司 Connectx-3 网 卡 产 品 已 经 支持 RoCE。 
各 网 络 协 议 比较 ， 如 表 11-2 所 示 。 
表 11-2 各 网 络 协议 比较 


协 
议 PCle 以 
», | 1/10/40GE iWARP RoCE PCle RDMA 
类 太 网 仿真 
型 
有 | 应 有 应 用 应 用 应 用 应 用 应 用 
Socket Socket Socket Socket 
3 verbs ed verbs verbs a verbs 
大 Sockets Sockets | Sockets SDP SDP SDP SDP 
RDMA 
内 TCPAP TEPAP 
核 | TCP/IP IP over 让 无 
六 IP over IB 
YA PCIe 
Infiniband| PE TCP/IP ea 
a | 网 此 | 网 上 传输 层 “网 长 ” | PCIe 驱动 
| | 驻 = 4 
以 太 网 |Infiniband| PCIe 以 大 网 以 太 网 Infiniband en 
Ne i Ny ey ee es PCIe 交 换 机 
交换 机 交换 机 | 交换 机 交换 机 交换 机 交换 机 
时 15~30 15~30 15~30 
和 机 5 微 秒 2 微 秒 2 微 秘 


术 。 


重 删 、 压 缩 技术 


目前 ， 数 据 压缩 和 重复 数据 删除 是 实现 数据 缩减 的 两 种 关键 技 
简 言 之 ， 数 据 压 缩 技 术 通 过 对 数据 重新 编码 来 降低 见 余 度 ， 而 重 


复数 据 删 除 技术 侧重 于 删除 重复 的 数据 块 ， 从 而 实现 数据 容量 缩减 的 
目的 。 

数据 压缩 和 重复 数据 删除 能 带 来 如 下 好 处 : 节省 数据 存储 空间 ， 
降低 TCO、 节 省 物理 存放 空间 ， 提 升 写 入 性 能 ， 节 省 网 络 传输 带宽 ， 
实现 绿色 环保 (减少 电力 ， 空 调 的 使 用 ) 。 

数据 压缩 和 重复 数据 删除 已 经 广泛 应 用 于 各 个 领域 。 

备份 领域 数据 量 巨大 ， 要 求 巨 大 的 数据 吞吐 率 和 漫长 的 备份 窗 
口 。 传 统 备份 方式 的 重复 数据 多 ， 通 单 可 达 20: 1~30: 1， 适 合 使 用 
重 删 近 术 。 

主 存储 市 场 也 开始 大 面积 应 用 重 删 技术 。 由 于 主 存储 市 场 关注 时 
延 ， 甚 于 关注 吞吐 量 ， 所 以 多 采用 后 重 删 技术 。 指 纹 碍 找 算法 也 采用 
简单 的 排序 查找 方法 ， 该 方式 重 删 率 最 高 ， 但 耗 时 巨大 ， 会 减少 SSD 
盘 的 寿命 。 

虚拟 桌面 场景 VDI 在 系统 盘 中 有 大 量 的 重复 数据 ， 可 以 通过 重 删 
来 解决 空间 占用 和 局 动 风 暴 等 问题 。 

即使 内 存 中 有 大 量 重 复 页 面 存 在 ， 但 在 Linux 2.6.32 中 引入 了 KSM 

(Kernel Samepage Merging) 可 更 加 高 效 地 使 用 内 存 。 

远程 复制 、 广 域 网 加 速 、 字 节 缓 存 、 源 问 重 删 的 本 质 都 是 先 在 本 
地 生产 数据 指纹 ， 然 后 发 送 指纹 到 对 端 ， 如 果 对 端 已 经 存在 这 个 指 
纹 ， 则 无 需 重复 友 送 数据 。 

下 面 我 们 对 比分 析 数 据 压 缩 与 重复 数据 删除 。 

数据 压缩 和 重复 数据 删除 技术 都 着 眼 于 减少 数据 量 ， 两 者 的 差别 
在 于 : 数据 压缩 技术 的 使 用 前 提 是 信息 的 数据 表达 存在 见 余 ， 而 重复 
数据 删除 技术 的 实现 依赖 数据 块 的 重复 出 现 ; 数据 压缩 技术 以 信息 论 
研究 作为 发 展 基础 ， 而 重复 数据 删除 技术 是 一 种 实践 性 技术 。 这 两 种 


技术 在 本 质 上 是 相同 的 ， 即 通过 检索 见 余 数据 并 采用 更 短 的 指针 来 缩 
碱 数据 容量 。 它 们 的 区 别 关 键 在 于 ， 消 除 元 余 学 围 不 同 ， 发 现 见 余 方 
法 不 同 ， 风 余 粒 度 不 同 ， 在 具体 实现 方法 上 也 有 诸多 不 同 。 

数据 压缩 与 重复 数据 删除 两 种 技术 具有 不 同 层面 的 针对 性 ， 并 能 
够 结合 起 来 使 用 ， 从 而 实现 更 高 的 数据 缩减 比例 。 值 得 一 提 的 是 ， 如 
果 同 时 应 用 数据 压缩 和 重复 数据 删除 技术 ， 为 了 降低 对 系统 的 处 理 需 
求 和 提高 数据 压缩 比率 ， 通 常 需 要 先 应 用 数据 删除 技术 ， 然 后 再 使 用 
数据 压缩 技术 进一步 降低 “结构 图 ”的 面积 和 基本 数据 块 的 体积 。 如 果 
顺序 颠倒 ， 会 出 现 什么 样 的 结果 呢 ? 压缩 会 对 数据 进行 重新 编码 ， 从 
而 破坏 数据 原生 的 见 余 结构 ， 因 此 再 应 用 重复 数据 ， 删 除 效 果 会 大 打 
折扣 ， 而 且 消耗 时 间 也 更 多 。 而 移 执行 重复 数据 删除 则 不 同 ， 它 首先 
消除 了 元 余数 据 块 ， 然 后 应 用 数据 压缩 对 唯一 副本 数据 块 进 行 再 次 压 
缩 。 这 样 ， 两 种 拉 术 的 数据 缩减 作用 得 到 全 加 ， 而 且 数 据 压 缩 的 消耗 
时 间 大 大 降低 。 因 此 ， 先 去 重 后 压缩 可 以 获得 更 高 的 数据 压缩 率 和 性 


能 。 
11.2.3 “一体 机 产品 介绍 
业界 多 个 厂家 已 经 纷纷 推出 多 款 一 体 机 产品 ， 下 面 将 介绍 几 款 典 
型 产品 。 
数据 库 一 体 机 Exadata 
凭借 卓越 产品 的 性 能 和 企业 数据 库 市 场 的 王者 地 位 ，Exadata 2012 


年 的 销售 额 约 为 10 亿 美元 ， 名 列 应 用 一 体 机 市 场 首位 ， 当 前 最 新 产品 
为 第 4 代 Exadata X3。 


甲骨 文公 司 在 2008 年 率先 推出 了 业界 首 款 软 硬件 集成 设计 的 系统 
Oracle Exadata 数 据 库 云 服务 器 ， 采 用 Oracle 数 据 库 软 件 和 惠普 的 
硬件 ， 包 括 服 务 器 、 存 储 、 网 络 设备 。2009 年 甲骨 文 收购 Sun 之 后 推出 
第 二 代 Exadata V2， 全 面 有 来 用 了 来 自 原 Sun 公 司 的 服务 器 和 存储 等 硬件 
架构 ， 并 在 一 体 机 中 配备 了 当时 非常 先进 的 40Gbps 速 率 的 InfiniBand 和 
PCIe 闪 存 卡 。2010 年 甲骨 文 推出 的 Exadata X2 有 两 个 型 号 ， 即 X2-2 
(数据 库 采 用 2 路 服务 器 硬件 ) 和 X2-8 (数据 库 采 用 8 路 服务 器 硬 
件 ) 。 另 外 ，Exadata X2 具 有 硬件 数据 库 加 密 功能 ， 其 每 个 节点 的 内 
存 可 达 2TB。 

2012 年 10 月 甲骨 文 发 布 了 第 四 代 Exadata X3， 并 称 之 为 内 存 数据 
库 机 (Database In-Memory Machine)，Exadata X3 大 幅 增 加 了 内 存 和 闪 
存 容量 ， 并 推出 Smart Flash Cache 技 术 ， 以 提升 系统 性 能 。 与 Exadata 
X2 类 似 ，Exadata X3 有 两 个 型 号 ， 即 X3-2 和 X3-8。 

Exadata X3-2 一 体 机 的 特点 如 下 。 

” 容量 更 大 ， 每 个 X3-2 机 架 可 配 8 个 DB 节点 ，CPU 达 128 核 ， 内 
存 达 2TB，40x10Gb 带 宽 ; 可 配置 14 个 存储 节点 ，168 个 CPU 
核心 进行 SQL 处 理 《通过 Oracle 独 有 的 存储 印 载 技术 ) ; 可 配 
置 56 个 PCI 闪 存 卡 ， 组 成 共计 22.4TB 闪 存 容量 ; 可 配置 168 块 
600GB 的 15K RPM 高 性 能 磁盘 ， 或 者 168 个 3TB 的 7.2K RPM 大 
容量 磁盘 。 

> 性 能 更 高 ， 智 能 Falsh Write Cache 可 将 写 性 能 提升 20 倍 ， 数 据 
吞吐 量 (SQL 查 询 ) 达 100GB/s。 

” 更 节能 ， 每 个 X3-2 机 染 最 大 可 节省 3KW 电 能 消耗 。 

Exadata X3 关 键 软件 技术 : 

” ASM on Exadata， 单 一 表 空 间 ， 减 少 90% 的 存储 管理 需求 ; 


~ SmartScan， 可 提升 10x 人 100x 查 询 速 度 ; 

” EHCC 混 合 型 列 压 缩 ， 信 息 密度 提升 sx 人 50x， 并 提升 查询 速 
度 ; 

> 扫描 BW + Storage Index， 减 少 90% 以 上 索引 | ; 

” Oracle 11G 数 据 库 内 存 管 理 、SQL 管 理 、DOP、 并 发 排队 等 新 
技术 ， 减 少 80% 以 上 调 优 工作 ; 

~ 云 特性 ， 确 保 向 数据 库 云 方向 发 展 ， 符 合 未 来 技术 发 展 趋 
势 。 


基础 设施 一 体 机 Vblock 


Vblock 是 YMware、EMC 和 (Cisco 三 家 厂商 合作 推出 的 基础 设施 一 
体 机 ， 其 中 服务 器 和 TOR 交 换 机 为 CISCO 产 品 ， 存 储 为 EMC 产 品 ， 虚 
拟 化 软件 平台 为 VMware 产品 ，Vblock 由 EMC、 Cisco、VMware 与 Intel 
合资 的 VCE 公 司 负责 销售 与 维护 。 

第 一 代 的 Vblock 于 2010 年 中 推出 ， 最 初 分 为 Vblock 0、Vblock 1 与 
Vblock 2 三 个 层级 ， 分 别 涵 盖 低 、 中 、 高 阶 应 用 ， 存 储 设备 分 别 采 用 
EMC 的 Celerra、Clariion 及 Symmetrix VMAX 等 型 号 。Vblock 在 2011 年 
中 做 了 改 款 ， 推 出 Vblock 300 系 列 取代 了 Vblock 0、1 与 1U ， 并 将 
Vblock 2 更 名 为 Vblock 700， 于 是 Vblock 家 族 便 简 化 为 Vblock 300 与 
Vblock 700 两 个 系列 。 新 的 Vblock 300 系 列 改 用 EMC 新 推出 的 VNX 系 
列 储存 设备 ，VNX 是 一 种 能 同时 支持 NAS、FC 与 iSCSI SAN 等 不 同类 
型 存 取 功 能 的 多 协议 储存 设备 ， 因 此 以 往 的 Vblock 1 与 1U 的 区 别 也 没 
有 必要 存在 。 


2012 年 VCE 基 于 新 一 代 Intel CPU 和 EMC 存 储 产品 推出 Vblock 320 
替代 Vblock300，Vblock 720 替 代 Vblock 700， 同 时 推出 针对 SMB 客 户 
的 Vblock 100 和 Vblock 200 ( 见 表 11-3) 。 

表 11-3 ”基础 设施 一 体 机 对 比 


Vblock 100 Vblock 200 Vblock 320 Vblock 720 
中 型 企业 (中 型 数据 | 云 服 务 提 供 商 /企业 | 云 服务 提供 商 / 企 
应 用 场景 中 小 企业 /远程 /分 支 | 中 心 /核心 IT 基础 设 |( 企 业 关 键 应 用 如 微软 | 业 ( 企 业 关 键 应 用 
| 机 构 (数据 中 心 /VDD) | 施 /VDI/ 币 软 应 用 / 数 | 应 用 /Oracle/SAP/SAP| 如 微软 应 用 /Oracle/ 
据 库 ) HANA) SAP/SAP HANA) 
服务 器 a i 
狼 量 BX(3-4)/DX(3-8) 最 大 384 
CISCO | , . . Cv 
3 机 架 式 服务 器 C200 M3 半 宽 /全 宽 刀 片 半 宽 /全 宽 刀 片 
服务 器 
,, |VNX3150/ VNX5300/5500/ VMAX 
EMC 存 储 
VNX3300 5700/7500 10K/20K/40K 
系统 规模 ”| 1(24U 或 42U 机 柜 ) 1(42U 机 柜 ) 1-8(42U 机 柜 ) 1-28(42U 机 柜 ) 
计算 网 络 Nexus Nexus 5548UP/ 
(CISCO) 2XNexus 5548UP/5596UP(10GE) 
2X24 口 3750-X 5596UP(10GE) 
一 一 一 一 5548UP(10GE) 
存储 网 络 _ MDS 
MDS 9148(FC) 
(CISCO) 9148/9513(FC) 


除了 搭配 VMware 的 vCenter 来 管理 系统 外 ，EMC 专 门 为 Vblock 开 
发 了 Ionix Unified Infrastructure Manager 管 理工 具 统 一 管理 Vblock 的 硬 
件 资源 分 配 ， 并 与 YMware vCenter、vCloud Director 整 合 ， 提 供 对 基础 
设施 的 资源 分 派 、 监 控 与 管理 功能 。 


基础 设施 一 体 机 FusionCube 


华为 FusionCube 是 一 款 将 计算 、 存 储 、 网 络 进行 垂直 整合 的 融合 
架构 硬件 平台 ， 其 在 12U 的 机 框 内 已 经 预 集成 了 40GE/100GE 的 以 太 网 


和 TInfiniBand， 背 板 总 带宽 可 达 15.6Tbps, 为 整体 融合 架构 提供 了 足够 的 
网 络 带宽 和 性 能 保证 。1.5U 高 的 刀片 设计 保证 了 单刀 片 的 内 存 容 量 两 
倍 于 业界 同类 产品 ; 半 宽 刀片 (2 路 四 核 到 8 核 ) 的 设计 大 大 提升 了 计 
算 密度 ， 亦 两 倍 于 业界 同类 产品 。FusionCube 采 用 存储 刀片 ， 配 合 
DSware 分 布 式 存储 引擎 ， 可 替代 传统 的 大 集中 SAN 染 构 ， 同 时 解决 计 
算 和 存储 的 灵活 配 比 的 问题 。 

相对 Vblock， 华 为 FusionCube 有 两 个 融合 。 

(1) 计算 和 存储 的 融合 

FusionCube 方 案 取 消 了 存储 的 机 头 ， 直 接 用 服务 器 控制 存储 ， 这 

是 计算 和 存储 的 融合 ， 数 据 存 取 速度 更 快 。 
(2) 网 络 的 融合 

Fusioncube 交 换 机 融合 在 背 板 上 ， 通 过 背 板 的 InfiniBand 总 线 把 计 
算 和 存储 进行 了 网 状 直 联 ， 速 度 高 达 56Gbps。 

FusionCube 还 能 做 到 统一 管理 。 一 般 来 说 ， 开 管理 运 维 的 成 本 占 
到 整体 成 本 的 65%，FusionCube 能 对 软件 、 硬 件 、 虚 拟 化 进行 统一 管 
理 ， 大 大 减少 运 维 成 本 。 华 为 的 FusionManager 云 管理 软件 包含 了 功能 
强大 的 资源 管理 ， 同 时 提供 了 自动 发 现 、 安 狼 、 部 署 等 功能 ， 为 融合 
染 构 提供 了 统一 的 管理 平台 。 除 此 之 外 ， 华 为 云 管理 软件 
FusionManager 还 集成 了 众多 的 自动 化 运 维 功能 ， 如 一 键 式 部 署 、 基 于 
策略 的 管理 等 ， 这 大 大 提高 了 运 维 效率 ， 降 低 了 成 本 。 


基础 设施 一 体 机 Nutanix 


初创 厂商 Nutanix 提 供 的 一 体 机 产品 为 融合 染 构 一 体 机 ， 将 服务 
器 、 存 储 和 网 络 集成 到 一 台 服 务 器 。 每 个 节点 都 是 一 台 x86 服 务 器 ， 每 


个 节点 采用 相同 的 构造 ， 支 持 多 节 和 点 营 加 构建 大 型 的 数据 中 心 ， 访 音 
分 采用 了 Nutanix 分 布 式 存 储 和 分 层 存 储 技 术 ， 热 数据 存储 在 高 性 能 的 
PCIe 闪 存 卡 上 ， 常 用 数据 存在 SSD 上 ， 而 不 常用 的 数据 则 会 被 存在 磁 
盘 上 。 

Nutanix 一 体 机 产品 具有 简单 、 软 件 定 义 以 及 高 可 扩展 三 个 特点 。 

(1) Nutanix 一 体 机 简化 一 体 机 的 结构 。 计 算 与 存储 资源 融合 于 
单一 的 集成 平台 ， 使 得 应 用 和 虚拟 化 团队 能 够 迅速 、 简 便 地 部 署 新 的 
虚拟 机 ， 而 无 需 配置 后 端 存 储 系统 。 这 也 是 Nutanix 融 合理 念 的 一 部 
分 ， 由 于 融合 ， 所 以 简单 ， 由 于 简单 ， 所 以 降低 成 本 。 

(2) 其 次 是 软件 定义 ，Nutanix 的 软件 架构 专门 为 虚拟 化 而 设 
计 ， 并 支持 各 种 流行 的 技术 ， 包 括 实时 VM 迁移 、 高 可 用 性 (HA) 、 
分 布 式 资源 调度 (DRS) 以 及 容错 技术 等 。 同 时 ，Nutanix 软 件 架构 还 
不 限定 管理 程序 ， 可 支持 VMware vSphere 和 KVM， 以 及 各 种 行业 标准 
的 管理 系统 。 整 个 的 Nutanix 虚 拟 计 算 平台 在 其 软件 架构 的 支持 下 可 以 
实现 一 种 全 面 集成 的 系统 ， 可 应 对 任意 规模 的 虚拟 工作 负载 。 

(3) 高 可 扩展 。Nutanix 宣 称 架构 无 需 停 机 就 可 以 无 缝 地 添加 其 
他 Nutanix 节 点 ， 并 且 由 于 都 采用 同样 的 节点 ， 所 以 扩展 操作 十 分 简 
便 。 


11.3 一 体 机 市 场 、 技 术 趋 势 
11.3.1 一 体 机 市 场 趋 势 


一 体 机 是 模块 化 数据 中 心 的 建设 基石 


基础 设施 的 业务 价值 取决 于 其 支撑 的 全 业 务 需 求 。 随 着 新 技术 如 
虚拟 化 和 云 计算 的 运用 ， 各 种 业务 流 逐 涤 了 开化， 数据 中 心 的 数据 量 因 
此 快速 增长 。 数 据 中 心 的 发 展 聚 焦 于 : 能 够 快速 部 署 业 务 ， 数 据 中 心 
内 各 厂家 设备 能 够 统一 维护 ， 数 据 中 心 基础 设施 能 扩容 ， 数 据 中心 能 
维持 高 水 平 的 资产 利用 率 ， 实 现 更 低 的 TCO。 

传统 数据 中 心 将 来 自 不 同 供应 两 的 、 类 型 锭 异 的 组 件 进行 定制 设 
计 ， 在 现场 组 合成 一 个 独特 的 大 型 基础 设施 系统 。 由 于 这 种 方式 工作 
量 大 ， 周 期 长 ， 基 础 设施 维护 复杂 ， 调 整 困难 ， 因 此 无 法 满足 IT 业务 
对 于 数据 中 心 的 需求 。 近 年 来 ， 客 户 对 于 模块 化 数据 中 心 的 呼声 越 来 
越 高 。 

一 体 机 产品 出 现 后 ， 由 于 其 部 署 周期 短 ， 维 护 统一 ， 易 于 扩展 ， 
业务 预 集成 、 调 测 等 特点 ， 正 适合 作为 数据 中 心 的 模块 化 建设 的 基 
石 。 业 界 普 遍 预 测 ， 一 体 机 年 增长 率 将 达到 40%， 远 高 于 数据 中 心 各 
类 分 散 产 品 (如 服务 器 、 存 储 、 网 络 设备 ) 的 增长 率 。 到 2016 年 , 一 
体 机 市 场 空间 将 达到 约 180 亿 美元 ， 约 占 整个 数据 中 心 市 场 的 15%。 


一 体 机 需 针对 各 类 客户 提供 差异 化 产品 形态 


(1) 中 小 企业 (简称 为 SMB) 

这 类 企业 的 开设 施 规 模 不 大 ， 但 IT 应 用 种 类 丰富 ，IT 维 护 人 员 
少 ， 对 成 本 和 设备 的 性 价 比 很 敏感 。 因 此 ，SMB 需 要 小 规模 、 架 构 简 
性 价 比 高 的 一 体 机 产品 。 

(2) 大 企业 
这 类 企业 的 IT 设施 规模 较 大 ，IT 应 用 规模 和 种 类 较 多 ， 对 于 IT 设 
施 的 可 靠 性 、 扩 展 性 、 维 护 性 要 求 较 多 ， 拥 有 专业 的 、 经 验 较为 丰富 


区 、 


的 IT 维护 人 员 。 大 企业 往往 需要 较 大 规模 、 架 构 容易 扩展 、 可 靠 性 高 
的 一 体 机 产品 。 

(3) 服务 提供 商 

服务 提供 商 主 要 指向 企业 或 最 终 客户 提供 电信 业务 、 互 联网 业 
务 、 数 据 中 心 外 包 等 业务 的 提供 商 ， 这 类 企业 的 IT 设施 规模 大 ， 提 供 
专业 的 服务 和 应 用 ， 需 要 帮助 其 快速 推出 业务 ， 应 对 业务 快速 增长 ， 
为 最 终 客 户 提供 高 性 能 体验 的 IT 基础 设施 。 服 务 提 供 商 本 身 拥 有 大 量 
专业 的 、 经 验 丰 富 的 各 种 设施 IT 维护 人 员 。 

服务 提供 商 往往 需要 大 规模 、 分 布 式 架构 、 容 易 扩 展 、 可 靠 ! 
高 、 能 快速 推出 业务 的 一 体 机 产品 ， 例 如 由 高 密度 服务 器 、 分 布 式 存 
储 、 大 流量 交换 机 组 成 的 大 型 一 体 机 ， 并 且 可 以 根据 应 用 需求 定制 专 
门 的 一 体 机 产品 。 

(4) 超大 规模 业务 提供 商 

超大 规模 业务 提供 商 主 要 指 一 些 全 球 性 的 业务 提供 商 ， 例 如 搜索 
巨 尖 Google， 电 子 商 务 兼 云 计 算 服 务 提供 商 Amazon， 这 些 全 球 性 I 证 业 
务 巨 头 拥 有 大 量 IT 研 发 工程 师 和 维护 工程 师 ， 可 自己 开发 业务 系统 ， 
因此 往往 需要 定制 硬件 ， 通 常 不 会 采用 一 体 机 。 

未 来 一 体 机 的 市 场 增长 主要 来 源 于 有 持续 需求 的 大 企业 、 数 量 众 
多 的 SMB 和 需要 超大 规模 一 体 机 的 服务 提供 商 。 


一 体 机 需 满足 各 种 类 型 企业 应 用 


构筑 于 数据 中 心 之 上 的 企业 IT 信 息 系统 需 支 持 各 种 类 型 IT 应 用 ， 
例如 VDI 应 用 。 各 类 应 用 对 于 性 能 需求 不 同 ， 对 于 计算 、 网 络 、 存 储 
资源 要 求 和 可 靠 性 要 求 也 不 同 。 例 如 由 于 Web Server 的 网 络 流量 大 ， 连 


接 数 多 ， 因 此 对 网 络 资源 消耗 大 ， 而 对 计算 能 力 要 求 不 高 ;由 于 应 用 
服务 器 需要 处 理 各 种 业务 逻辑 ， 因 此 对 计算 能 力 要 求 高 ， 对 网 络 资源 
消耗 相对 较 少 。 

一 体 机 需 具 备 以 下 特点 : 

” 灵活 分 配 各 类 资源 ， 满 足 各 类 应 用 的 不 同 资源 需求 ; 

” 具有 业务 SLA 保 障 机 制 ， 保 证 各 类 业务 的 服务 质量 ; 

” 快速 部 署 业 务 的 能 力 ， 例 如 业务 部 署 模板 ; 

” 灵活 扩容 业务 的 能 

” 完善 的 可 靠 性 机 制 ， 以 最 优 性 价 比 方案 提供 各 种 应 用 对 于 

RTO/RPO 的 需求 。 


11.3.2 一 体 机 技术 趋势 
新 硬件 介质 


随 着 时 间 演 进 ， 新 介质 存储 容量 持续 高 速 增长 ; 而 随 着 技术 及 工 
艺 的 演进 ， 新 介质 性 能 向 更 好 的 方向 发 展 。 

未 来 对 DDR RAM 形 成 替代 的 技术 包括 STT MRAM、PCM 和 
FeRAM， 未 来 对 Nand Flash 形 成 替代 的 技术 包括 PCM 和 ReRAM。 

ReRAM 结 构 简单 ， 易 于 进行 3D 堆 琶 ， 可 以 实现 大 容量 产品 。 其 读 
写 速度 、Endurance 优 于 NAND， 但 低 于 STTMRAM， 主 要 定位 为 取代 
NAND Flash。 当 前 阶段 还 没有 商业 化 的 ReRAM 产 品 ， 预 计 最 早 的 商 
业 产 品 会 在 2015 年 出 现 。ReRAM 容 量 小 、 成 本 高 ， 主 要 在 NV Cache、 
集成 内 存 、 价 格 不 敏感 等 应 用 场景 下 使 用 。 在 2017 年 以 后 ，ReRAM 产 
品 有 望 达 到 TB 级 的 容量 ， 同 时 价格 低 于 NAND， 从 而 成 为 主要 大 容量 
存储 介质 。 


PCM 当 前 的 主要 产品 是 Nor Flash 接 口 ， 最 新 的 45nm PCM 性 能 较 
65nm Nor Flash 提 升 较 多 ， 成 本 较 SRAM 有 较 大 优势 (每 GB4.5 美 
元 ) ， 价 格 约 为 SLC 的 10 倍 左右 (NAND Flash SLC 成 本 为 每 GB4.5 美 
元 ) 。 目 前 ，PCM 在 智能 电表 等 对 写 速 度 要 求 不 高 的 场景 中 可 以 取代 
串 行 SRAM。 

STT-MRAM 具 有 高 数据 刷新 率 、 无 限 次 存 写 、 高 读 写 速度 以 及 低 
能 耗 和 非 易 失 性 等 特点 ， 有 望 取 代 DRAM， 预 计 STTMRAM 上 市 初期 
目标 可 接近 DRAM 的 成 本 ， 比 NAND 的 成 本 高 出 10 倍 ( 见 表 11-4、 表 
1 

表 11-4 ”数据 易 失 类 型 与 非 易 失 类 型 


类 型 说 明 
易 失 类 型 大 规模 量 产 SRAM、DRAM、PSRAM 
( 掉 电 丢失 ) 起 步 阶段 (特定 场景 浮 体内 存 
大 规模 量 产 NOR、NAND、EPROM、EEPROM、Mask ROM 
非 易 失 关 型 小 规模 量 产 MRAM、 FRAM 
区 a 交 5 里 三 、 
( 掉 电 不 丢失 ) 
起 步 阶段 (特定 场景 ) PRAM、MRAM、PRAM、 赛 道内 存 


表 11-5 ”存储 介质 时 延 、 擦 写 次 数 比 较 


分 类 读 写 时 延 P/E Cycle( 编 程 / 擦 除 周期 ) 
SRAM 5 纳 秒 /5 纳 秒 10™ 
STT-MRAM 20 纳 秒 /20 纳 秒 10” 
DDR3 30 纳 秒 /15 纳 秒 


PCM 50 纳 秒 /120 纳 秒 


分 类 读 写 时 延 P/E Cycle( 编 程 / 擦 除 周期 ) 备 注 
ReRAM 50 微 秒 /50 纳 秒 10” 
PCM-S 50 纳 秒 /120 纳 秒 10° 
SLC 25 微 秒 /200 微 秒 10° 
Emlc 50 微 秒 /1200 微 秒 10” 可 按 地 址 块 设 定 地 址 
MLC 50 微 秒 /800 微 秒 10° 
SAS 15k 3 毫秒 /3 毫秒 10° 
SAS 10k 3 毫秒 /5 毫秒 10° 
融合 和 简化 


IT 系统 的 发 展演 变 从 最 初 的 大 一 统 分 化 成 服务 器 、 存 储 、 网 络 
如 今 ， a 
融合 的 概念 最 早 是 指 一 个 集 服务 器 、 网 络 、 存 储 以 及 管理 软件 于 
一 体 的 整体 解决 方案 ， 这 一 gi et ited 目前 几乎 主流 的 三 
商 均 推 出 具有 各 自 技 术 特 点 的 融合 基础 架构 (或 者 说 “一 体 机 ”) 产 
品 ， 并 且 这 一 市 场 也 开始 悄然 兴起 。 据 IDC 在 2013 年 的 十 大 预测 中 提 
到 ， 本 企业 数据 中 心服 务 器 65% 都 会 采用 融合 基础 设施 的 
设备 。 可 以 说 ， 这 一 市 场 前 景 广阔 。 

一 体 机 中 的 融合 技术 有 几 个 方向 。 

(1) 计算 /存储 融合 (代表 厂商 : 华为 FusionCube) 

华为 FusionCube 采 用 独 有 的 计算 和 存储 融合 技术 ， 将 标准 服务 器 
上 本 地 存储 组 成 虚拟 的 SAN 人 存储 资产， 无 需 外 置 SAN 设 备 就 可 以 提供 
计算 和 存储 能 力 。 

计算 存储 融合 带 来 了 更 高 性 能 。 在 传统 的 开架 构 中 ， 服 务 器 与 存 
储 分 离 导 致 计 算 节 点 只 能 通过 机 头 以 捉 行 的 方式 访问 数据 ， 效 率 较 
低 。FusionCube 一 体 机 通过 在 刀片 服务 器 中 部 署 分 布 式 存储 引擎 ， 将 


等 
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计算 节点 串 行 访问 数据 的 方式 改 为 并 行 访问 ， 由 此 能 够 同时 从 多 个 节 
点 的 本 地 存储 中 获取 数据 ， 减 少 访问 时 延 。 

计算 存储 融合 可 实现 管理 简单 与 一 体 化 运 维 。 以 往 ， 企 业 在 进行 
IT 基础 架构 设计 时 ， 需 要 考虑 服务 器 选 型 、 软 硬件 兼容 性 验证 等 工 
作 ， 会 耗费 大 量 的 时 间 和 精力 。 而 在 FusionCube 一 体 机 中 ， 企 业 看 到 
的 不 再 是 单独 的 服务 器 、 存 储 设备 、 网 络 ， 而 是 一 个 软 硬 件 资源 深度 
整合 的 融合 系统 ， 由 此 减少 方案 设计 的 工作 量 ， 降 低 方案 设计 的 复杂 
度 。 到 了 建设 环节 ，FusionCube 一 体 机 已 经 实现 软 硬 件 的 预 集成 、 预 
安装 和 预 验证 ， 可 一 次 性 完成 安装 部 署 ， 改 变 了 以 往 不 同 厂 商 多 次 现 
场 安装 设备 的 方式 ， 降 低 了 人 力 资源 的 成 本 ， 现 场 安装 时 间 也 由 原来 
的 7 天 缩短 为 2 小 时 ， 实 现 “ 家 电 式 ”安装 。 在 预 集成 方面 ，FusionCube 
一 体 机 直接 把 产品 的 操作 经 验 固化 成 模板 ， 然 后 内 置 于 IT 系 统 ， 人 允许 
系统 自动 处 理 各 种 基础 而 耗 时 的 工作 ， 从 而 将 IT 应 用 部 署 的 时 间 缩 短 
为 6 小 时 ， 运 维 工 作 量 减少 60%。 正 是 由 于 FusionCube 一 体 机 将 软 硬 件 
系统 充分 地 融合 在 一 起 ，IT 运 维 人 员 不 再 需要 特别 关注 某 一 个 软件 或 
硬件 ， 而 更 聚焦 于 IT 系统 的 整体 性 能 和 用 户 体验 。 

(2) 计算 和 网 络 融合 〈 代 表 广 商 及 产品 : CISCO，UCS) 

CISCO 是 老牌 的 网 络 厂商 ， 在 CISCO 推 出 的 UCS 产 品 中 充分 发 挥 
了 其 网 络 优势 。 

大 可 靠 ， 

UCS 的 架构 与 普通 刀片 不 一 样 。 刀 片 机 箱 内 无 交换 设备 ， 刀 片 机 
箱 的 网 络 连 到 Gisco UCS 6120XP 端 口 互联 阵列 设备 上 ，6120XP 工 作 在 
end-host 模 式 。 在 配置 刀片 和 6120XP 连 接 时 ， 用 户 可 以 指定 某 块 网 卡 
连 到 特定 的 6120XP。 这 条 链 路 上 任何 一 个 部 件 出 现 故 障 (6120XP 本 
身 、 机 箱 到 6120XP 的 连 线 、6120XP 到 上 行 交 换 机 的 连 线 或 者 是 上 行 交 


换 机 本 身 ) ， 刀 片 服 务 器 上 的 网 卡 会 自动 切换 到 另 一 条 链 路 ， 而 且 切 
换 过 程 不 丢 包 ， 保 证 业务 的 连续 性 。 

(3) 简化 运 维 管理 

UCS 采 用 了 Service Profile 和 无 状态 计算 概念 ， 所 有 刀片 服务 器 在 
没有 配置 前 均 可 视 为 裸 机 ， 因 此 刀片 服务 器 的 物理 位 置 或 者 插入 哪个 
机 箱 已 经 不 再 重要 ， 这 样 就 为 跨 机 箱 的 服务 器 元 余 做 好 物理 上 的 准 
备 。 

当 用 户 设置 了 Server Pool， 并 将 某 个 配置 文件 关联 到 此 Server Pool 
时 ， 该 配置 文件 会 自动 寻找 第 一 个 可 用 的 服务 器 资源 ， 并 与 它 做 关 
联 。 当 该 服务 器 损坏 时 ， 配 置 文件 会 继续 寻找 第 二 个 可 用 服务 器 资源 
并 自动 与 之 关联 。 由 于 配置 文件 中 规定 了 服务 器 的 物理 参数 ， 如 MAC 
地 址 、WWN 地 址 、VLAN 和 vSAN 的 连接 、boot order 等 各 项 参数 ， 新 
的 服务 器 (也 称 备 机 ) 就 会 具有 和 老 服务 器 一 样 的 物理 参数 ， 由 此 ， 
无 需 在 网 络 和 和 SAN 设备 上 做 任何 重新 设置 ， 备 机 就 具有 老 服务 器 的 所 
有 特性 ， 如 果 采 用 boot from SAN 的 模式 ，OS 和 用 户 应 用 就 可 自动 重 
启 ， 完 全 无 需 人 工 干预 。 

(4) 应 用 和 基础 设施 的 融合 (代表 厂家 和 产品 : HP， 
CloudSystem) 

类 似 机 架 或 者 刀片 等 通用 服务 器 在 一 定 程度 上 并 不 能 帮助 用 户 实 
现 效率 最 大 化 ， 效 率 必 须 与 应 用 挂 钓 。Windows、ERP、 电 子 邮 件 或 者 
数据 库 应 用 对 于 性 能 的 需求 是 不 一 样 的 ， 有 的 应 用 可 能 要 求 内 存 较 
大 ， 有 的 则 需要 存储 空间 较 大 ， 而 有 些 则 可 能 对 带宽 有 较 高 要 求 ， 通 
用 服务 器 并 不 能 完全 满足 这 些 细致 的 需求 。 尽 管 现在 服务 器 厂商 都 在 
一 定 程度 上 提供 个 性 化 选择 ， 但 这 并 没有 做 到 极致 。 


惠普 希望 在 这 方面 的 创新 能 够 帮助 用 户 最 大 程度 地 优化 IT 资产 ， 
例如 大 规模 采用 ARM 架 构 的 服务 器 ， 在 同一 块 主板 上 集成 6 个 服务 器 
的 高 密度 服务 器 等 (编者 注 : 这 并 不 代表 惠普 未 来 会 推出 具体 的 产 
品 ) ， 但 惠普 更 加 强调 的 是 与 应 用 结合 ， 即 为 用 户 提供 最 佳 实践 。 

将 开 基 础 设施 与 应 用 相 结 合 必然 要 涉及 第 三 方 软件 服务 提供 丙 
(ISV) ， 在 通用 软件 方面 ， 惠 普 与 广泛 的 ISV 有 着 深入 的 合作 。 在 这 
方面 ， 惠 普 提出 帮助 用 户 快速 建立 应 用 系统 架构 的 口号 ， 通 过 了 解 用 
户 的 实际 应 用 需求 ， 结 合 惠普 的 经 验 和 整个 业界 的 最 佳 实 践 ， 为 用 户 
提供 模板 信息 ， 例 如 构建 一 个 具有 一 定 规模 的 Web 服 务 需要 的 CPU 数 
量 、 内 存 大 小 、 存 储 空间 以 及 带宽 大 小 等 建议 信息 。 在 应 用 层面 ， 可 
以 通过 应 用 直接 在 资源 池 分 配 资源 部 署 应 用 ， 无 需 用 户 再 去 具体 的 物 
理 机 上 安装 应 用 。 

(5) 开放 /标准 化 

在 一 体 机 被 市 场 接 受 的 过 程 中 ， 其 是 否 会 被 供应 商 锁定 的 质疑 也 
是 一 直 存 在 。 业 界 和 厂家 在 试图 朝 开 放 接口 、 开 放 标 准 的 方向 来 解决 
这 个 质疑 。 

支持 OpenStack 一 体 机 的 厂家 代表 产品 为 华为 FusionCube。 

华为 FusionCube 采 用 OpenStack 的 架构 ， 把 自己 的 存储 、 服 务 器 、 
虚拟 化 产品 做 开放 式 接 入 。 从 客户 角度 来 看 ， 不 需要 像 以 前 那样 全 套 
购买 华为 的 产品 ， 因 为 通过 OpenStack ， 第 三 方 软件 可 以 通过 调用 
OpenStack API 来 提供 服务 。OpenStack 可 通过 各 个 模块 调用 华为 或 第 三 
方 提供 的 存储 、 网 络 、 虚 拟 化 等 能 力 。 比 如 ， 用 户 可 以 同时 使 用 如 
VMware 的 Hypervisor 和 华为 的 Hypervisor。 这 样 ， 在 OpenStack 的 架构 
里 ， 华 为 只 是 其 中 一 部 分 的 能 力 提 供 方 ， 客 户 不 会 被 一 家 所 绑 定 。 


开源 和 开放 的 API 不 仅 让 用 户 免 于 Lock-in， 同 时 能 减少 运 维 等 维 
护 复杂 度 ， 降 低 成 本 。 例 如 在 运 维 方面 ， 通 过 开放 的 API， 用 户 可 以 选 
择 第 三 方 的 工具 或 开源 软件 ， 让 企业 的 基础 设施 管理 不 会 被 绑 定 。 同 
时 ， 企 业 能 够 灵活 享受 云 化 后 融 来 的 好 处 ， 降 低 云 化 之 后 市 来 的 复杂 
性 。 


结语 
云 计 算 的 概念 已 经 炒作 了 很 多 年 ， 各 种 云 计算 的 相关 概念 风 生 水 
起 ， 世 界 各 大 IT 公司 ， 各 种 创业 公司 都 投入 云 计 算 中 ， 但 是 云 计算 目 
前 的 实施 效果 并 不 如 意 ， 对 于 云 计算 的 准确 样子 仍然 没有 一 个 明晰 的 
定论 。 然 而 ， 不 管 有 什么 困难 ， 有 一 点 始终 像 启明 灯 一 样 地 照耀 着 我 
们 ， 那 就 是 云 计算 的 终极 愿景 ， 希 望 人 们 像 用 水 用 电 一 样 随时 随地 地 
使 用 信息 服务 。 只 要 坚持 这 个 愿景 ， 以 这 个 愿景 来 衡量 ， 一 切 与 云 计 
算 相 关 的 概念 和 技术 是 否 符 合 历史 的 潮流 都 会 一 目 了 然 。 
本 书 的 范围 仅 是 聚焦 于 云 计算 的 IaaS 层 ， 聚 焦 于 提供 基础 设施 的 
广 家 如 何 构造 一 个 满足 云 计 算 需 要 的 共享 资源 地 ， 这 个 共享 资源 池 能 
够 给 上 层 的 平台 层 、 应 用 层 提供 随 要 随 给 的 资源 ， 以 实现 云 计算 的 终 
极目 标 。 那 么 ， 要 满足 这 样 的 目标 ， 有 几 大 技术 是 基础 的 ， 也 是 必须 
的 。 
这 些 技术 具体 如 下 。 
” 计算 虚拟 化 : 全 服务 的 核心 就 是 提供 计算 服务 ， 如 何 最 好 地 
将 各 种 小 的 物理 计算 资源 构成 大 的 计算 池 ， 随 之 又 按照 需 
分 配给 申请 者 ， 并 进行 动态 的 资源 管理 。 
” 存储 虚拟 化 : 全 服 务 的 另外 一 个 核心 就 是 存储 ， 所 有 的 信息 
必须 能 够 保存 下 来 才 有 意义 。 保 存 分 为 暂时 的 保存 和 永久 的 
保存 。 存 储 方面 又 有 几 大 必须 解决 的 难题 : 


" 如 何 提 高 WO 能 力 ， 保 证 尽 可 能 大 的 读 写 带宽 ，; 
" 如何 做 到 不 同 存储 广 家 异 构 资产 的 融合 ; 


" 如 何 针对 不 同 的 应 用 智能 满足 客户 的 需求 ， 存 储 资源 是 有 限 
的 ， 存 储 的 W/O 无 论 如 何 是 有 瓶颈 的 ， 恰 到 好 处 的 服务 惑 是 
对 存储 资源 的 最 好 利用 。 


” 网 络 虚拟 化 : 当 所 有 的 企业 和 个 人 都 随时 随地 地 访问 云 服 务 
时 ， 网 络 的 复杂 性 一 定 是 以 指数 增长 的 。 那 么 ， 这 个 虚拟 网 
络 如 何 建立 ， 需 要 数学 模型 的 计算 。 对 于 安全 性 ， 亦 是 虚拟 
化 网 络 的 重 中 之 重 。 

” 虚拟 化 安全 : 随时 随地 的 访问 ， 需 要 无 处 不 在 的 安全 防护 。 
接 入 访问 需要 安全 ， 数 据 在 云 网 络 中 流动 需要 安全 ， 云 数据 
在 CPU 处 理 时 需要 安全 ， 云 数据 在 存储 池 中 保存 时 也 需要 安 
全 。 

” 分 布 式 集群 : 随时 随地 的 访问 意味 着 提供 基础 服务 的 硬件 设 
施 一 定 是 分 布 式 集群 组 成 的 系统 ， 否 则 不 可 能 给 所 有 访问 的 
用 户 提供 服务 。 这 个 集群 需要 多 大 ， 采 用 多 少 层级 ， 如 何 进 
行 区 域 性 的 调动 ， 都 是 需要 解决 的 难题 。 

” 异 构 资源 融合 或 标准 化 : 目前 有 很 多 的 IT 硬 件 厂家， 他 们 所 
研发 的 服务 器 、 存 储 设备 、 网 络 设备 成 千 上 万 ， 异 构 资源 必 
须 能 够 融合 ， 否 则 云 计 算 的 共享 资源 池 无 从 谈 起 。 融 合 有 两 
条 路 ， 第 一 条 ， 每 个 广 家 都 遵循 一 个 接口 规范 来 设计 和 制造 
服务器、 存储 设备 和 网 络 设备 ; 第 二 条 ， 设 计 一 个 计算 、 存 
储 、 网 络 融合 的 单一 设备 ， 这 个 单一 设备 有 一 致 的 接口 ， 可 
以 像 拱 标准 积木 一 样 部 署 出 超大 的 云 计算 资源 系统 。 

展望 未 来 ， 在 云 计算 基础 设施 领域 有 几 大 技术 趋势 ， 这 几 个 技术 

的 深度 实现 将 有 助 于 云 计 算 真 正 走向 千家 万 户 。 


” 内 存 计算 : 在 未 来 的 世界 ， 实 时 计算 、 实 时 决策 才 是 王道 ， 


而 要 达到 如 此 的 效果 ， 必 然 会 走向 内 存 计算 。 所 有 的 数据 和 
计算 全 部 保存 在 内 存 中 ， 通 过 内 存 集群 和 高 速 网 络 保证 高 性 
能 ; 数据 有 多 个 异地 副本 ， 可 解决 可 靠 性 问题 ;传统 的 基于 
磁盘 或 者 磁带 的 存储 ， 在 系统 正常 运行 时 不 再 参与 到 主 业务 
流程 中 ， 更 多 的 是 作为 一 个 备份 的 介质 ， 在 内 存 突然 全 部 故 
障 的 情况 下 ， 将 内 存 数据 全 部 恢复 出 来 。 


” 超大 集群 技术 : 不 管 是 单个 大 型 跨国 企业 ， 还 是 提供 云 服务 


- 


的 云 服务 商 ， 在 现代 信息 爆炸 的 时 候 ， 需 要 的 系统 规模 都 会 
越 来 越 大 。 那 么 ， 如 此 巨大 的 系统 如 何 高 效 安全 地 建立 连 
接 ， 如 何 高 效 快速 地 进行 资源 的 发 放 和 回收 ， 如 何 保证 系统 
整体 的 最 优 ， 如 何 给 出 一 个 有 效 的 建 模 :和 仿真 ， 这 些 都 是 很 
困难 的 问题 。 

为 联网 技术 : 即使 云 计 算 平 台 作 为 一 个 计算 中 心 解决 了 数据 
计算 和 决策 的 过 程 ， 但 是 如 果 没 有 对 各 种 终端 设备 的 有 效 接 
入 和 连接 ， 我 们 仍然 无 法 做 出 对 现实 世界 实时 的 反应 ， 因 此 
物 联网 技术 也 是 云 计算 走向 深入 发 展 后 的 必然 需求 ， 例 如 汽 
车 上 的 各 种 移动 传感器 、 个 人 身上 携带 的 各 种 健康 和 移动 传 
感 器 、 家 用 电器 的 统一 健康 状态 监控 传感器 、 市 政 基础 设施 
的 健康 传感器 《路灯 状 态 、 红 绿灯 状态 、 井 水 盖 状 态 、 下 水 
道 状 态 等 ) 、 智 能 楼 宇 的 各 种 传感器 (水 、 电 、 煤 气 等 的 使 
用 和 健康 状态 ) ， 等 等 。 当 各 种 各 样 的 接 入 终端 设备 的 数据 
兰 产 不 断 地 传送 到 数据 中 心 后 ， 基 于 内 存 大 集群 的 云 数 据 中 
心 就 会 非常 快速 地 计算 出 系统 的 故障 所 在 ， 给 出 故障 纠正 措 


施 ， 并 通过 云 网 络 反 馈 到 智能 终端 ， 迅 速 做 出 调整 ， 消 灰 故 
障 或 者 避 多 更 大 的 事故 发 生 。 
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Authentication、Authorization、 2 4 
Accounting 
Access Control List 接 入 控制 列表 


ACM: Association for Computing 

Machine， 美 国 计 算 机 协会 SIGCOMM 是 ACM 组 织 在 通信 网 络 领域 的 旗舰 
SIGCOMM: Special Interest Group | 型 会 议 ， 也 是 目前 国际 通信 网 络 领 域 的 顶尖 会 
on Data Communication， 数 据 通 信 | 议 ， 由 ACM SIGCOMM 组 织 举办 

专业 组 

Authentic( 真 实 )、Energetic( 动 感 )、| Windows Aero 是 从 Windows Vista 开 始 使 用 的 新 型 
Reflective( 反 射 ) 及 Open( 开 阔 ) 用 户 界 面 ， 透 明 玻 璃 感 让 用 户 一 眼 贯 穿 


Application Programming Interface “| 应 用 程序 接口 


Advanced RISC Machine -种 处 理 器 架构 


Address Resolution Protocol 地 址 解析 协议 
Any-source multicast 任意 源 组 播 
英特尔 @ 凌 动 rw 处 理 器 ， 是 Intel 的 一 个 超 低 电 
压 处 理 器 系列 
Basic Input/Output System 基础 输入 输出 系统 


EEC 
om ert oresing | 加 人 


Challenge Handshake Authentication| ., ，,,_.,.、 se 
Protocol 


通用 信息 模型 
EC 一 种 无 阻塞 交换 架构 的 名 称 ， 源 于 发 明 者 
en Charles Clos 博 十 


Obj R B 
Common Object Request Broker | 通用 对 象 请 求 代理 架构 是 软件 构建 的 一 个 标准 
Architecture 


Continuous Query Language 连续 查询 语言 
Customer relationship management | 客户 关系 管理 


DaaS Desktop as a Service 果 面 即 服务 


DAS Direct-Attached Storage 直接 附加 存储 


DC Data Center 数据 中 心 


DDoS, DOS 分 布 式 拒绝 服务 攻击 

DevOps 是 一 组 过 程 、 方 法 与 系统 的 统称 ， 用 
于 促进 开发 (应 用 程序 /软件 工程 )、 技 术 运营 
英文 Development 和 Operations 的 和 质量 保障 (QA) 部 门 之 间 的 沟通 、 协 作 与 整 
组 合 合 ; 它 的 出 现 是 由 于 软件 行业 日 益 清晰 地 认识 
到 ， 为 了 按时 交付 软件 产品 和 服务 ， 开 发 和 运 
营 工作 必须 紧密 合作 


DHCP Dynamic Host Configuration Protocol | 动态 主机 配置 协议 


DevOps 


DPM 分 布 式 电源 管理 
DRS Distributed Resource Scheduler 动态 资源 调度 
ET 
微软 公司 建立 的 一 系列 专 》 体 以 及 游 
EC2 Elastic Compute Cloud 弹性 计算 云 
ECC 错误 检查 与 纠正 
ECMP Equal-Cost Multi-Path routing 等 价 多 路 径路 由 
eR 
不 业 奖 源 计划 
oem 
i 用 来 描述 将 数据 从 来 源 端 经 过 萃取 (extracb、 
转 团 (transform)、 加 载 (load) 至 目的 端的 过 程 
i 
ERG Fault, Configuration, Accounting, | 表示 网 络 管理 的 五 种 基本 功能 的 缩写 :， 故障、 
Performance, Security 配置 、 计 费 、 性 能 、 安 全 管理 
FW FireWall 防火 墙 
GDI Graphics Device Interface 图 形 设备 接口 


GDT Global Descriptor Table 全 局 描述 符 表 


缩 略语 
GFS 
GPA 
GPS 
GPU 
GUI 
GVA 
HA/FT 
HDD 
HDFS 
Hop 
HPA 
HPC 
HRM 
HTML 


ED 


Google File System Google 文 件 系统 

Guest OS Physical Address 客户 操作 系统 的 物理 地 址 
Graphics Processing Unit 图 形 处 理 器 

Graphical User Interface 图 形 用 户 输 面 

Guest OS Virtual Address 客户 操作 系统 的 虚拟 地 址 
High Availability/Fault Tolerance 高 可 用 性 /容错 
Hadoop 分 布 式 文件 系统 
Hadoop 在 线 原 型 
宿主 操作 系统 的 物理 地 址 
High Performance Computing 高 性 能 计算 

HyperText Markup Language 超 文 本 标记 语言 


HTTP/HTTPS | HyperText Transfer Protocol Secure | 超 文本 传输 (安全 ) 协 议 


I2RS 
laaS 
ICA 
ICP 


Interface to Routing System 路 由 系统 接口 


Independent Computing Architecture “| 独立 计算 架构 ， 思 杰 公 司 开 发 的 远程 更 面 协议 


TT 
TR 

Interface, IF1 IF2 IF3… 接口 缩写 代号 

Intelligent Network lnterface Card 能 网 卡 

Input and Output 输入 输出 
每 秒 读 写 (VO) 操 作 的 次 数 


Intelligent Redundant Framework 智能 元 余 框 架 


Intermediate System-to-Intermediate 


中 间 系 统 到 中 间 系 统 
System 


TT CD 


Information Technology Infrastructure | ,,. RE 
ITIL 信息 技术 基础 设施 库 


ITSM IT Service Management IT 服务 管理 


KPI Key Performance Indicators 关键 绩效 指标 


LAMP 是 指 一 组 通常 一 起 使 用 来 运行 动态 网 站 
或 者 服务 器 的 自由 软件 名 称 首 字母 缩写 ; 其 
中 L 指 Linux， 为 操作 系统 ，A 指 Apache， 为 网 
页 服务 器 ，M 指 MariaDB 或 MySQL， 为 数据 库 
LAMP Linux, Apache, MySQL, PHP 管理 系统 (或 者 数据 库 服务 器 )，P 指 PHP、Perl 
或 Python， 为 脚本 语言 ，PHP 用 于 编辑 网 页 ， 
网 页 运行 在 Apache 软 件 上 ， 网 页 的 数据 来 自 
MySQL，Apache 和 MySQL 安 装 在 Linux 操 作 系 
统 上 


LB Load Balance 负载 均衡 
LBS Load Balance Server 负载 均衡 服务 天 


Lightweight Directory Access re gy 
LDAP S 4 轻型 目录 访问 协议 
Protocol 


LUN Logical Unit Number 逻辑 单元 号 
MME Multi Media Extension 多 媒体 扩展 
MMU Memory Management Unit 内 存 管 理 单元 
大 可 开行 外 加 
NAS 网 络 附属 存储 
NFV 网 络 功能 虚拟 化 
NOS 网 络 操作 系统 
NUMA 非 一 致 性 内 存 架 构 
Non-Volatile Dual In-line Memory WY 和 要 成 J A 人 
NVDIMM ER 内 存 芯片 的 内 存 条 规格 ， 能 够 在 完全 断 电 的 时 
候 依然 保存 完整 的 内 存 数 据 
NVGRE 采用 通用 路 由 封装 的 网 络 虚 拟 化 
NVRAM 下 易 失 性 随机 访问 存储 器 
四 aa je 


缩 略 语 全 称 说 明 


Operations, Administration, and , 


De Maintenance Se 

OLAP On-Line Analytical Processing 在 线 分 析 处 理 

OLTP On-Line Transaction Processing 联机 事务 处 理 

tien, 开放 图 形 库 定义 跨 程序 语言 、 中 平台 的 应 用 各 
序 接口 (APD 的 规范 ， 用 于 生成 二 维 、 三 维 图 像 

OS Operation System 操作 系统 

OVF 开放 虚拟 化 格式 

OVSDB 开放 虚拟 交换 机 数据 库 管 理 协 议 

TT 

pe rm rom ord 

PCI 外 设 互联 标准 或 个 人 电脑 接口 

PCR 平台 配置 寄存 器 

PDM 产品 数据 管理 

PF Physical Function 物理 功能 

RN Pemoral denifeaion | 个 人 

PM Physical Machine 物理 主机 

POSIX 可 移植 操作 系统 接口 

PXE 预 启 动 执行 环境 

QEMU - 款 仿真 处 理 器 的 自由 软件 

RAID 独立 硬 稚 元 余 阵 列 

RAS 可 靠 性 、 可 用 性 、 可 维护 性 


RBAC Role Based Access Control 角色 的 访问 控制 


TE 
RDB Relational Database 关系 型 数据 库 

RDMA 远程 直接 数据 存 取 

RDP 远程 桌面 协议 


含 状态 传输 的 Web 服务 (也 称 为 RESTful Web 
REST，Representational State Transfer | APIT) 是 一 个 使 用 HTTP 并 遵循 REST 原 则 的 Web 


RESTFUL 


服务 
Roc DMA coe pe | 
ce RpMA Over comered ETH | 
RPO 恢复 点 目标 
RIP 实时 传输 协议 
| 
SAN 存储 区 域 网 络 
SAS 个 用 于 数据 存储 的 点 对 点 品行 协议 
SATA 一 种 计算 机 总 线 接口 ， 一 般 用 于 硬盘 
SDN Software-Defined Networking 软件 定义 网 络 
SDS Software-Defined Storage 软件 定义 存储 
SGC 安全 网 关 控制 器 
SGSN GRPS 服 务 节 点 
SLA 服务 等 级 协议 
SVB Svan Vea me Bomen | 
SMI-S Storage Management Initiative Specification | 存储 管理 初始 化 配置 
EEC 
SNMP 简单 网 络 管理 协议 
SOA 面向 服务 的 架构 
SOAP 简单 对 象 访问 协议 
SPB Shoresr Pan Brdeme TIT 
SQL 结构 化 查询 语言 
SR-IOV -种 基于 硬件 的 虚拟 化 解决 方案 
SSD Solid State Disk、Solid State Drive “| 固态 便 盘 


Stateless Transport Tunnelling Protocol 


Thin Client 


Thin Client Management 
Total Cost ofOwnership 


Transmission Control Protocol 


全 称 


Type-Length-Value 


Trusted Platform Module 


Transparent Interconnection of Lots 


of Links 


Trusted Execute Technology 

Unified Communications 

User Datagram Protocol 

Unified Extensible Firmware Interface 


Universal Virtualization Platform 


Virtual CPU 


Virtual Desktop Infrastructure 


Virtual Funciton 


Video Graphics Array 


Virtual Interface 


Virtual IP 


Virtual Machine 


Virtual Machine Control Structure 
Virtual Machine Device Queue 
Virtual Machine Manager 

Virtual Network Computing 
VxLAN Network Identifier 


Voice over Internet Protocol 


Virtual Port-Channel 


Virtual Private Cloud 


Virtual Private LAN Service 


Virtual Private Network 


Virtual Reality 


Virutal Routing Forwading 


无 状态 传输 协议 


瘦 客 户 端 


瘦 客 户 端 管理 


总 拥有 成 本 


传输 控制 协议 
类 型 -长 度 - 值 
可 信 平 台 模 块 


多 链接 透明 互联 
可 信和 执行 技术 


统一 通信 


用 户 数 据 报 协议 
统一 的 可 扩展 固件 接口 
华为 公司 的 虚拟 化 平台 


虚拟 CPU 


说 


了 明 


虚拟 桌面 基础 设施 (桌面 云 ) 


虚拟 功能 


视频 图 形 阵列 


虚拟 接口 
虚拟 IP 
虚拟 机 


虚拟 机 控制 架构 
虚拟 设备 队列 
虚拟 机 管理 器 
虚拟 网 络 计算 
VxLAN 网 络 ID 


IP 电 话 


虚拟 端口 通道 


虚拟 私有 云 


虚拟 专用 局 域 网 业务 


虚拟 专用 网 
虚拟 现实 


虚拟 路 由 转发 


TE TL 

VRM 虚拟 资源 管理 器 

VSGA 虚拟 共享 图 形 加 速 

VSI 虚拟 子 网 标识 符 

VTEP VxLAN 隧 道 端点 

vTPM 虚拟 化 可 信赖 平台 模块 

VVOL VMware 虚拟 机 卷 

VxLAN 虚拟 扩展 局 域 网 

WDDM Windows Display Driver Model 桌面 显示 驱动 模型 

WI Web Interface 网 页 界面 

XPDM Windows XP Display Driver Model | Windows XP 显示 驱动 模型 
Y” 表 示 明 亮度 (Luminance、 

YUV Luma)，“U” 和 “V” 则 是 色 度 、| 一 种 颜色 编码 方法 


浓度 (Chrominance、Chroma) 


后 记 


本 书 在 撰写 过 程 中 参考 和 引用 了 来 自 互 联网 和 第 三 方 公司 或 机 构 
的 内 容 ， 其 中 包括 但 不 限于 : 美国 国家 标准 与 技术 协会 (NIST) 关于 
云 计 算 相 关 文 件 、Gartner 相 关 报 告 、IDC 相 关 报 告 、Nick McKeown 等 
人 于 2008 年 在 ACM SIGCOMM 发 表 的 题 为 OpenFlow: Enabling 
Innovation in Campus Networks 的 论文 、Google 公 司 发 表 的 Data Center 
as a Computer 一 文 、 微 软 公司 的 WINDDK 文 档 、 中 国 移动 云 计算 相关 
资料 、 埃 森 哲 的 《 埃 森 哲 2012 年 技术 展望 》 白 皮 书 、 藉 清 野 对 开源 社 
区 的 跟踪 研究 (http://www.qyjohn.net/?p=3399) 、Apache 社 区 网 站 发 
布 的 文献 资料 (特别 是 关于 CloudStack、OpenStack、Hadoop 以 及 流 处 
理 相 关 的 文档 ) 、VMware 公 司 网 站 公开 文档 、Cisco 公 司 网 站 公开 文 
档 、H3C 公 司 网 站 公开 文档 、Xen 开 源 社 区 网 站 公开 文档 、Linux KVM 
社区 网 站 公开 文档 、Intel 公 司 网 站 公开 文档 、 微 软 公 司 网 站 公开 文 
档 、OpenFlow 网 站 文档 、Oracle 公 司 网 站 公开 文档 、VCE 公 司 网 站 公 
开 文 档 、Nutanix 公 司 网 站 公开 文档 、HP 公 司 网 站 公开 文档 、 华 为 公司 
网 站 公开 文档 、Resource Allocation Algorithms for Virtualized Service 
Hosting Platforms (Mark Stillwell，2010) 、OpenDaylight 网 站 公开 文 
档 、 Wikipedia 网 站 公开 文档 (特别 是 http://zh.wikipedia.org/ 
wiki/MapReduce) 、 清 华 大 学 出 版 社 的 《分 布 式 云 数据 中 心 的 建设 与 
管理 》 等 。 同 时 ， 我 们 在 撰写 过 程 中 采用 了 互联 网 搜索 工具 (如 Baidu 
和 Google) 搜索 查阅 了 一 些 文章 并 引用 了 部 分 文字 ， 已 难以 确定 具体 
出 处 ， 无 法 一 一 列举 。 如 读者 发 现 未 列 明 出 处 的 引用 ， 可 通过 出 版 社 
告知 作者 ， 在 本 书 下 一 版 中 会 补充 到 引用 说 明 中 或 做 其 他 修订 处 理 。 
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的 承诺 。 除 非 适 法 要 求 ， 作 者 及 出 版 社 对 本 书 所 有 内 容 不 提供 任何 明 
示 或 暗示 的 保证 。 
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